Evaluation

Datei:Präsentation1.png

Analogievergleich zwischen Wissenschaft und Evaluation

Datei:Popper Canterbury.jpg

Foto von Karl Popper, eingereicht als Teil seiner Bewerbung am University of Canterbury College (Neuseeland)

Evaluation (wörtlich: Bewertung) bezeichnet die systematische Beschreibung, Bewertung, Beurteilung und Beeinflussung eines Objektes in Beziehung auf ein Subjekt.

Überblick

Datei:Elemente einer Evaluation.png

Grundschema einer Evaluation

Bei einer Evaluation wird untersucht, wie und was etwas ist und wie es zu beurteilen ist, also Faktizität und Geltung bzw. Sein, Verhalten und Bedeutung eines Objektes (Ist) für ein Subjekt (Wert) in Form eines Wert-Ist-Vergleiches bestimmt. Als Kategorien fallen unter Bedeutung z. B. Nutzen, Wert, Qualität, etc., unter Maßstäbe (Werte) des Subjektes z. B. Wohl, Willen, Bedürfnis, Mangel, etc.. Letztendlich wird geprüft, ob etwas dem einzelnen Menschen (Individuum) dient bzw. mit seinen Interessen (nicht) unvereinbar ist. Wissenschaftlich gültig geschieht das durch Widerlegung bzw. Gegenprobe (Falsifikation bzw. Reductio ad absurdum/Argumentum e contrario). Praktisch durch die Anwendung von Mängel-, Ausschluß- oder K.-O.-Kriterien wie z. B. in Form von Mängel-Listen, No-Go-, Veto-, Abbruch-Routinen (Abort) oder Ausschließungsverfahren, etc.. Hierzu wird mit allgemeinen bzw. wissenschaftlichen Verfahren abgebildet, verglichen und geschlossen. Das Verfahren der Evaluierung lässt sich auch als praxisorientierte bzw. handlungsgerichtete Vernunftanwendung oder Erkenntnisgewinnung beschreiben. Im Rahmen von Verbesserungssystemen wie dem Qualitätsmanagement (QM) bildet es die Erkenntnisfunktion ab.

Es handelt sich dabei um ein "objektives", klassisches, intellektuelles, kognitives, formelles bzw. "rationales" Erkenntnisverfahren durch Analyse, Logik, Kategorisierung, Systematik, etc. im Gegensatz zu "subjektiver", romatischer, präintellektueller, präkognitiver, informeller bzw. "irrationaler" Einsicht durch Intuition, Emotion, Mystik, Synthese, etc.. Inwieweit diese Bestandteil bzw. Voraussetzung von Erkenntnis bzw. Realität und Qualität sind, kann und wird durch eine Evaluation nicht unbedingt abgedeckt (werden). Allerdings scheint ein umfassender Qualitätsbegriff beide Aspekte, wenn nicht ("sicher" bzw. klassisch) zu integrieren, so doch wahrzunehmen und insofern zu "evaluieren", da beide "in der Welt" und somit auch Teil einer übergreifenden, sowohl physischen wie metaphysischen Realität/Qualität sind.

Im Einzelnen wird nun insofern (klassisch) geprüft, ob und inwieweit (Wert) ein sinnlich wahrnehmbares oder bloß gedachtes Ding (Objekt/Gegenstand) durch sein Sein (Attribut, Relation) oder sein Verhalten (Funktion) die Voraussetzungen (Bedingungen) im Hinblick auf etwas Gedachtes beziehungsweise Gemeintes (Intension/Intention bzw. Idee/Begriff) und/oder etwas Gesagtes beziehungsweise Gesetztes (Spezifikation bzw. Bild/Zeichen) und damit vorausgesetzt bzw. eingeschlossen oder abgeleitet auch die Maßstäbe des Subjekts erfüllt (siehe auch → Semiotisches Dreieck). Sie entspricht damit einer funktionalen Prüfung oder einer (Objekt-)Funktions-Analyse. Sie trennt sich in

• Gültigkeits- und Wirkungs- Prüfung (Prüfung gegen die Intention, Validierung, Schließen, Vertikales Messen, Inhaltliche Prüfung, Konzeptanalye, Ideenbewertung, Argumentation, Ziel-Ist-Vergleich, Outcome-Analyse/-Messung, Effektivitäts-Bewertung) sowie
• Wahrheits- bzw. Korrektheits-Prüfung (Prüfung gegen die Spezifikation, Verifizierung, Vergleichen, Horizontales Messen, Formale Prüfung, Ergebnismessung, Ausführungskontrolle, Abgleich, Soll-Ist-Vergleich, Output-Analyse/-Messung, Effizienz-Bewertung).

Datei:Evaluations-Modell 3.pdf

Detailschema

Während Intension bzw. Intention dabei (im Rahmen des klassischen Modells) ursprünglich sind, ist es Funktion einer abgeleiteten Spezifikation oder Norm, diese in der Realität zu repräsentieren und somit gestaltbar zu machen. Es gelten für Evaluationen einige handwerkliche Grundregeln:

• Eine Wahrheits-Prüfung gegen die Intention (Beweis) ist in verallgemeinerter Form nur im Rahmen einer Widerlegung (Falsifikation) möglich (vgl. Karl Popper; Induktionsproblem bzw. hypothetisch-deduktive Methode bzw. konsequenter Fallibilismus →"question every answer"), das heißt für alle Vernunftanwendung bzw. Erkenntnisgewinnung gilt, es gibt keine allgemein gültige, höchstens bewährte, vorläufig stabile bzw. unwiderlegte Erkenntnis.
• Eine Funktions-Prüfung gegen sich selbst sowie gegen die Funktions-Prüfung ist möglich und im allgemeinen notwendig und sinnvoll. Erster und abschließender Evaluationsgegenstand sollten daher immer die Evaluation und der Evaluierende selber sein.
• Methoden der Evaluation sollten grundsätzlich fachübergreifend widerspruchsfrei bzw. ergänzend und allgemein möglichst exakt und in Übereinstimmung mit grundlegenden wissenschaftlichen Erkenntnisgrundsätzen sein (Modellbildung, Hypothesenbildung, Untersuchungsaufbau und -ablauf, Test- und Messverfahren, Ab-/Vergleichs-Verfahren, Argumentations-/Schluss-Verfahren, →Methodenvalidierung, →Logik).
• Evaluation folgt der gleichen Schrittfolge von Präskription/Normierung/Vorgabe (Sein-Sollen), Deskription (Sein), Validation/Verifikation (Vergleich von Sein und Sein-Sollen), Intervention (Korrektur- und Anpassungsmaßnahmen)) wie Wissenschaft und Justiz.
• Im Gegensatz zum idealerweise zweckfreien Erkenntnisinteresse der Wissenschaft (Theorie; „Was können wir wissen?“) steht bei Untersuchungen im Rahmen von Evaluationen der zielgerichtete Handlungszweck (Praxis, „Was sollen wir tun?“) im Vordergrund. Hieraus ergibt sich auch das Erfordernis der Geltungszuweisung, d. h. da sich Evaluationen auf die Praxis beziehen, sollen/müssen sie durch nachvollziehbare, Beschreibung, Bewertung und Beurteilung sowie Angabe von Handlungsansätzen/Maßnahmenenvorschlägen entscheidungs- bzw. handlungs- und verbesserungsfähig machen bzw. eine positive Position einnehmen.

Begriffsklärung

Im üblichen Sprachgebrauch bedeutet Evaluation die Beschreibung, Analyse und Bewertung von Objekten, Funktionen und Systemen sowie Projekten, Prozessen und Organisationseinheiten. Ziel von Evaluationsverfahren ist die Informationsgewinnung über Nutzen oder Entsprechung zu Erwartung (Validierung) beziehungsweise Entsprechung zur Vereinbarung bzgl. jeweiliger Funktionen (Verifizierung) (s. a. Qualifizierung und Abnahme, Lastenheft/Pflichtenheft, Zielvereinbarung, Vertrag) sowie Effektivität (Ziel-Einsatz-Verhältnis bei gegebenem Einsatz bzw. Validierung) und Effizienz (Soll-Einsatz-Verhältnis bei gegebenem Soll bzw. Verifizierung) des auf sie entfallenden Einsatzes. Evaluationen dienen damit der Wirkungsüberprüfung und stellen ein wichtiges Instrument zu der Optimierung von Normen, Regeln und Prozessen dar. Evaluationsverfahren können sich sowohl auf den Kontext, die Struktur, den Prozess als auch auf das Ergebnis beziehen. Sie bilden in praktischer Hinsicht die einzige Möglichkeit auf nicht-intuitivem Weg Erkenntnis, Steuerung und Verbesserung zu erreichen.

Evaluation ist im Allgemeinen Führungsaufgabe im Zuge der Validierung und Controlling-Aufgabe im Rahmen der Verifizierung. In beiden Fällen kann die Hinzuziehung zusätzlicher Beurteiler oder Schätzer mit anderen Blickwinkeln sinnvoll sein (360°-Ansatz). Erwähnenswert sind hier der Kunden-, Management- oder Expertenansatz. In der Praxis hat die Wirkungs-Prüfung häufig die Form einer hierarchischen Nutzen-Messung (Nutzwertanalyse, Analytic Hierarchy Process, Analytic Network Process, Pyramid Principle) und die Wahrheits-Prüfung die Form eines Soll-Ist-Vergleichs beziehungsweise einer Abweichungsanalyse. Insgesamt kommen offensichtlich Ideenfindung, Zielbestimmung und Operationalisierung als dem Gegenstück von Validierung und Verifizierung entscheidende Bedeutung zu, wie ebenso Operationalisierung und Verifizierung der wichtigeren und vordringlicheren Validierung dienen, diese also den Wesenskern von Evaluation ausmacht.

In wirtschaftlicher Hinsicht werden Effektivität und Effizienz des Mitteleinsatzes unter anderem mit Methoden wie Wertanalyse, Gemeinkostenwertanalyse, Funktionskostenanalyse, Benchmarking, Activity Based Costing, Target Costing, Zero Base Budgeting, Kosten-Nutzen-Analyse, Deckungsbeitragsrechnung, GuV-, Bilanz-, Cash-Flow-Analyse, Kosten-Leistungsrechnung, Shareholder-Value-Analyse, Balanced Scorecard usw. untersucht und gesteuert (s. a. Liste der Controllinginstrumente). Zur Modellierung lassen sich Objektorientierung / -basierung und Modelle zur System-Modellierung wie SysMod, UML/SysML, Petri-Netz, EPK u. a. anwenden.

Datei:Mappe1.pdf

Einfaches Beispiel einer Prüfliste

Management- oder Qualitäts-Management-Systeme (z. B. EFQM, ISO 9000 ff., TQM, PDCA-Zyklus) lassen bei Mängeln im Bereich der Wirksamkeit oder Effizienz oder bei Abweichungen zwischen Soll und Ist in der Regel Innovations-, Anpassungs- oder Kostensenkungs-Initiativen und die Festlegung und Umsetzung von Maßnahmen mit nachfolgender Umsetzungs-, Wirkungs-, Institutionalisierungs- und Dokumentations-Kontrolle folgen bzw. helfen, Objekte, Funktionen und Maßnahmen an der Schnittstelle zwischen Nachfrager (Subjekt) und Anbieter (Objekt) bereits vorausschauend zu entwickeln (Quality Function Deployment).

Sinnvollerweise konzentrieren sich Maßnahmen zunächst auf die Objekte, Funktionen und Attribute mit der höchsten Relevanz im Hinblick auf das Ziel (Most/Primary/Principal Useful/Harmful Function) bzw. auf jene mit der höchsten Soll/Ist-Abweichung bei den Messwerten. Entsprechend sollten die Maßnahmen selbst im Hinblick auf ihre Effektivität und Effizienz sortiert werden (Grenznutzen-Analyse, Härtegrad-Zuordnung, Priorisierung), zum Beispiel mit Hilfe der 80/20-Regel oder der ABC-Analyse („Top Priority“ vs. „Nice to Have“) (Maßnahmen-Controlling/-Management).

Gelingt es, den Zusammenhang der Funktionen im Zeitablauf im Hinblick auf das Gemeinte (Sinn und Zweck) proaktiv und dynamisch zu verändern (Validierung), sowie die Güte-Anforderungen an der jeweiligen Schnittstelle statisch wiederholt (über-)zu erfüllen (Verifizierung), entsteht in der Synthese bzw. Summation in der Wahrnehmung des Subjektes bezüglich des Objektes das, was der Begriff Qualität (Flow, Coolness, Outperformance, das Wesentliche, das Gute, etc.) umschreibt, wobei Sinn und Zweck jeweils auch Sinn- und Zweck-Freiheit sein kann. Qualität ist dabei die Eigenschaft eines Gegenstandes dem Leben „…mehr Raum und Möglichkeiten“ („Metaphysik der Qualität“; Robert M. Pirsig) bzw. allgemein mehr individuelle Freiheit (Recht des Einzelnen auf " ... Leben, Freiheit und das Streben nach Glückseligkeit..."; Thomas Jefferson, Unabhängigkeitserklärung der USA) zu verschaffen , Evaluation die entsprechende Prüfung und Moral das daraus abgeleitete Prinzip. Qualitäts-Management (und damit Evaluation) ist dementsprechend zuerst intrapersonal (subjektiv) bzw. interpersonal (intersubjektiv)/allgemein funktional gültige Moral- bzw. Werte- und Qualitätsbegriffs-Ableitung und -Management (Moralphilosophie, Gefangenen-Dilemma, Evolution, etc.).

Selbstverwirklichung

Individualbedürfnisse

Soziale Bedürfnisse

Sicherheit

Physiologische Bedürfnisse

Maslow'sche Bedürfnispyramide

Validierung wird landläufig auch als die Frage „Machen wir; macht es das Richtige?“ (Fitness for purpose) verstanden, während Verifizierung den Punkt „Machen wir es richtig; macht es es richtig?“ bedeutet (Fulfilment of a specification). Der umfassende Zusammenhang von Ideen beziehungsweise Aussagen über Gültigkeit, Wirksamkeit und Wahrheit im Hinblick auf Sinn und Zweck beziehungsweise Qualität wird auch durch die Begriffe „Konzept“ oder „Story“ gekennzeichnet (beispielsweise Equity Story, Customer Story).

Hinsichtlich des Verhältnisses zwischen Intention und Einsatz wird unter den allgemeinen (physikalischen) Umweltbedingungen der Unsicherheit, der Knappheit und der Energieentwertung (Entropie) grundsätzlich ein Optimum (Effektivität bzw. Effizienz, s. a. Ökonomisches Prinzip) angestrebt, welches abhängig von den Präferenzen des Funktions-Empfängers unterschiedliche Ausprägungen annehmen kann. Als Extrema dieser Optimierungs-Maxime bestehen das Maximal-Prinzip (Maximaler Nutzen bei gegebenem Einsatz oder Qualitäts-/Differenzierungsführerschaft) beziehungsweise das Minimal-Prinzip (Minimaler Einsatz bei gegebenem Nutzen oder Kostenführerschaft). Vereinfacht geht es darum, individuelle Bedürfnisse (Validierung) effizient (ökonomisch) zu erfüllen (Verifizierung), bzw. effektiv nicht zu verletzen, wofür sich Individual-, Freiheits-, Privat-, Markt-, Wettbewerbs- oder Wahlhandlungs-Lösungen (Rational Choice/Public Choice) bei entsprechender Ausgestaltung auch und gerade vor dem Hintergrund des Werte-Rahmens im Allgemeinen bewährt haben.

Im Qualitätsmanagement soll die Wiederholung von Wert(maßstabs)-/Ziel-/Soll-/Ist-Bestimmung, -Vergleich, Schlussfolgerungen und Maßnahmen eine kontinuierliche Verbesserung bzw. dynamische und möglichst proaktive Anpassung ("ahead of the wave") und Entwicklung ermöglichen (Falsifikations-Zyklus bzw. trial-and-error). Dabei stehen Wiederholrate (Periode / Iteration) des Falsifikations-Zyklus und Dynamik und Anpassungsfähigkeit des Objektes bzw. Systems, d. h. seine Qualität offensichtlich in Beziehung. Evaluation selbst ist bisher nicht eindeutig und umfassend entwickelt und dokumentiert. Es fehlt an Gliederung und Arbeitsmitteln wie zum Beispiel Funktions-Bereichs-Matrixen, Funktionsbeschreibungen, Vorgehensmodellen, Methodenkatalogen, Prüfmitteln, Checklisten, Handlungsanleitungen, QM-Handbüchern, Schritt-für-Schritt-Dokumentationen ("Evaluation für Dummies"), etc.. Lücken und Überlappungen bzw. Schnittstellen zu anderen Bereichen wie Wissenschaft, QM, Controlling, Beratung, Management, Informationssuche, Dokumentation, Marktforschung, Justiz, etc. sind nicht klar aufgearbeitet.

Es gibt eine erhebliche Erkenntnis- und Umsetzungslücke (Operationalisierung) des deutschen (und anderen) gegenüber dem amerikanisch-angelsächsischen Sprach- und Kultur-Raum, insbesondere in der Realisierung funktionsfähiger und einfacher (Qualitäts-)Routinen (siehe z. B. Kundus-Vorfall), was insbesondere insofern relevant ist, als es bei Evaluation eben nicht nur um Erkenntnis, sondern zuerst und am Ende um gute Praxis, d. h. ganz praktisch auch um Leben und Tod geht (Evaluation als "Qualitäts-Maschine" bzw. "Qualitäts-Automat"). Es bleibt die Frage, ob Evaluation hierzulande nur ein (moderner) Oberbegriff für praktische Erkenntnisgewinnung und Vernunftanwendung bleibt, oder ob spezifische Methoden der Validierung und Verifizierung, beginnend vom Bereich der Moral und Werte (top floor) bis zur Maßnahmensteuerung (shop floor) entwickelt und integriert bzw. differenziert werden ("Von der Moral zu den Maßnahmen und wieder zurück"). Ob also aus der Blackbox bzw. Greybox Evaluation eine Whitebox wird.

Wortherkunft

Das Wort Evaluation wurde zuerst im 19. Jahrhundert im Französischen verwendet, mit Beginn des 20. Jahrhunderts auch im Englischen. In den USA ist es im modernen Verständnis seit den 30er-Jahren gebräuchlich (seit der Eight-Years-Study von R. W. Tyler). Tylers verhaltensorientiertes Konzept wurde nach dem Sputnikschock 1957 in der danach einsetzenden Bildungsreform kritisiert und verändert. In Deutschland wurde das englische Wort Evaluation Ende der 60er-Jahre aus dieser amerikanischen Tradition übernommen (vgl. Wulf 1972). Die Wortbedeutung „Bewertung“ wurde dabei zunächst verengt auf die Bewertung insbesondere der Arbeit von Bildungsinstitutionen (die Curriculum-Entwicklung seit den 30er-Jahren). Inzwischen wird, wie in den USA seit langer Zeit, auch in anderen sozialen Handlungsbereichen in Deutschland „evaluiert“. Synonyme Begriffe sind z. B. Bilanzierung, Check, Funktionsprüfung, Inspektion, Kontrolle, Lageanalyse, Leistungsprüfung, Messung, Praxistest, Prüfung, Qualitätsprüfung, Ranking, Rating, Test, Überprüfung, Untersuchung, Validierung, Verifizierung, u.a..

Zentrale Methoden und Begriffe der Evaluation

Das Handlungsfeld der Evaluationsforschung ist groß und somit auch die Bandbreite der Methoden, die zur Durchführung gewählt werden können. Zentrale Techniken/Methoden zur Datengewinnung und/oder Datenverarbeitung sind:

• Assessment
• Beobachtungsmethoden
• Experiment
• Fallstudie
• Faktoranalyse
• Fragebogen
• Interview
• Klinische Studie
• Qualitative Methoden
• Quantitative Methoden
• Statistische Methoden
• Standards für Evaluation

Nach Bortz/Döring unterscheidet man drei methodische Gruppen:

„Explorative Methoden dienen der Erkundung von Interventionsprozessen und deren Wirkungen. Sie zielen auf die Formulierung bzw. Konkretisierung von Wirkhypothesen ab und tragen dazu bei die relevanten Variablen zu identifizieren und zu operationalisieren.

Populationsbeschreibende Methoden ermöglichen eine Abschätzung der Verbreitung und der Hintergründe eines Sachverhaltes und erleichtern die Definition der Zielpopulation.

Hypothesenprüfende Methoden testen den Einfluss der untersuchten Intervention auf sinnvoll operationalisierte Wirkkriterien.“

„Gütekriterien der Evaluation sind nicht mehr primär Validität, Reliabilität und Objektivität, sondern Kommunikation, Intervention, Transparenz und Relevanz.“ Dieser Aspekt ist nicht als Widerspruch zu den bereits zuvor erläuterten Qualitätsstandards zu sehen, sondern bei der Methodenauswahl und bereits bei den Evaluationsvorüberlegungen einfließen sollten.

Funktionen der Evaluation

Evaluationen besitzen grundsätzlich funktionelle Elemente. Diese können in Abhängigkeit von der Interessenslage von unterschiedlicher Bedeutung sein. Allgemein können vier verschiedene Funktionen benannt werden, die als teilweise zusammenhängende Aufgabenbereiche der Evaluation betrachtet werden können.

Erkenntnisfunktion

Die Erkenntnisfunktion beschreibt die Zusammenstellung entscheidungsrelevanter Daten innerhalb einer Evaluation. Hierbei wird zum Beispiel – um nur vier wichtige Punkte zu nennen – aufgezeigt, welche Bedürfnisse die Zielgruppe der Evaluation hat und inwieweit das Programm von dieser Personengruppe akzeptiert wird. Weiterhin wird kontrolliert, ob die Auftraggeber fähig sind, das Evaluationsprogramm wirtschaftlich und zielgerichtet in die Tat umzusetzen. Ferner sollen die äußeren Bedingungen der Evaluation auf eventuelle Veränderungen überprüft werden. Die so gewonnenen Informationen werden im Zuge wichtiger Entscheidungen, welche die Steuerung des weiteren Evaluationsverlaufs betreffen, genutzt.

Kontrollfunktion

Die Kontrollfunktion der Evaluation beschreibt die Tatsache, dass eine Evaluation immer direkt oder indirekt mit einer Art von Kontrolle zusammenhängt. Die beschriebene Sachlage erkennt man daran, dass bei der Betrachtung eines Programmes und seiner Effekte immer auch Informationen über die Ausführung bestimmter Aufgaben von Probanden gewonnen werden.

Dialogfunktion

Evaluationsergebnisse bieten verschiedenen Stakeholdern (Durchführungsorganisatoren, Zielgruppen, Mittelgebern und sonstigen Beteiligten und Betroffenen) eine solide Basis für eine wechselseitige Kommunikation. Die Dialogfunktion dient der Findung einer gemeinsamen Bewertung der Kooperation während der Evaluation und soll sowohl positive als auch negative Faktoren aufdecken. Hieraus sollen Konsequenzen für die weitere Zusammenarbeit gezogen werden.

Legitimitätsfunktion

Diese Funktion gewährleistet, dass die gewonnenen Daten der Evaluation fundiert nachgewiesen werden können. Mit Hilfe der Legitimitätsfunktion wird überprüft, welcher Output bzw. welche Wirkungen mit dem betreffenden Input erzielt wurden. Bei der Verwendung von Ex-post-Evaluationen lässt sich die nachhaltige Wirkung des Programmes überprüfen. Dadurch können die Stakeholder die Effizienz ihrer Finanzmethoden aufzeigen. Eine Evaluation etwa unter dem Aspekt der Legitimation betrieblicher Weiterbildung hätte die Aufgabe, die positiven und negativen Ergebnisse während und nach einer Weiterbildungsmaßnahme zunächst sichtbar zu machen. Später kann eine intensivere und detailliertere Erfassung und Bewertung der Ursachen Gegenstand der Evaluation sein. Oftmals werden Evaluationen auch taktisch beispielsweise von Politikern benutzt, um bereits getroffene Entscheidungen zu legitimieren („taktische Funktion“). Diese Methode stimmt allerdings nicht mit dem eigentlichen Ziel einer Evaluation überein. Aufgrund dessen nimmt die taktische Funktion keinen eigenen Platz innerhalb der Evaluationen betreffenden Funktionen ein.

Weitere Modelle

Verschiedene Autoren haben sich mittlerweile mit der Frage einer ablauforganisatorischen Gestaltung von Evaluationen auseinandergesetzt, deren Ergebnisse unter anderem auch aus siebenschrittigen Evaluationsansätzen bestanden. Siebenschrittige Modelle von Evaluationsfunktionen bestehen aus der Informationsfunktion, der Legitimationsfunktion (Bewertung der Durchführung einer Maßnahme dem Grunde nach), der Steuerungs- und Optimierungsfunktion (Bewertung der Maßnahmen nach Art und Ausmaß), der Intensivierungsfunktion, der Entscheidungsfunktion, der Kontrollfunktion, sowie der Innovationsfunktion.

Wichtige Anwendungsbereiche von Evaluation

Evaluation und Qualitätsmanagement

Evaluation hat im Qualitätsmanagement (TQM, ISO 9000, 2Q, Q2E) schon lange einen festen Platz. Im EFQM-Modell wird Evaluation zum Beispiel gefordert, um die Ergebnisse (der Arbeit) bei Kunden, Mitarbeitern und der Gesellschaft zu erfassen. Evaluation fungiert hier als Rückkopplungselement für die Prozesssteuerung im Rahmen der Organisations- und Qualitätsentwicklung. Es wird dabei überprüft, ob die Interventionen auch tatsächlich die gewünschten Ergebnisse bzw. Wirkungen produzieren (Ursache-Wirkungs-Beziehung). Erfasst werden sowohl subjektive Daten über die Wahrnehmung der Betroffenen (Mitarbeitern, Kunden,...) als auch objektive Leistungsindikatoren, die intern im Unternehmen erfasst werden können.

Neben der Evaluation der Ergebnisse fordert das EFQM-Modell auch die direkte Evaluation der Abläufe in Interventionen und Maßnahmen in den Bereichen Führung, Strategie, Mitarbeiter, Prozesse und Partnerschaften. Hier kommt die Methode der Selbstevaluation zur Anwendung, um die Prozesse zu bewerten und schließlich zu verbessern. D. h. die Akteuere des Unternehmens, Führungskräfte und Mitarbeiter evaluieren sich, ihre Teams und ihre Organisation selbst anhand vorgegebener Kriterien mit eigens für das Qualitätsmanagement (QM) entwickelten und möglichst objektiven, reliablen und validen Instrumenten und Methoden. Auf Basis der gewonnenen Daten (Einschätzungen, Belege,...) werden Handlungsempfehlungen und Veränderungsmaßnahmen abgeleitet.

Sowohl die Selbst- als auch Fremd-Evaluationen können durch Benchmarkingvergleiche ergänzt und damit aussagekräftiger gemacht werden. Als Benchmarks dienen Evaluationsdaten aus anderen vergleichbaren Organisationen. Sie liefern Anhaltspunkte/Maßstäbe für die Bewertung und die Interpretation der eigenen Werte und damit der eigenen Situation. Im Idealfall kann auch die konkrete Kontaktaufnahme mit den Besten der Branche ein gemeinsames Lernen ermöglichen.

Neben diesen rein internen Evaluationen werden zu Zertifizierungszwecken auch externe Evaluationen gefordert: externe unabhängige Auditoren evaluieren die Organisation anhand derselben Kriterien und geben ihre Bewertung ab.

Evaluation im Rahmen des Qualitätsmanagements nimmt eine zunehmend prominente Stellung ein. Qualitätsmanagement kann im Grunde genommen als umfangreiches Evaluationsdesign begriffen werden, das der Organisations- und Personalentwicklung dient. Die Professionalität und der Erfolg von Evaluation hängt dabei stets von den eingesetzten Instrumenten ab. Gesellschaften wie die DeGEval ist bestrebt, Standards zu entwickeln bzw. die Evaluierenden zu befähigen und zu supportieren. Die traditionellen Ansätze von EFQM oder ISO9000 beruhen meist auf sehr linearen Ursache-Wirkungsmodellen. Jüngere Beispiele moderner Ansätze sind z. B. die kybernetischen Ansätze von Fredmund Malik oder die Lernhelix von proEval.

Evaluation im Bildungsbereich

Als pädagogischer bzw. andragogischer Fachbegriff bedeutet Evaluation gemäß der Definition von J. Reischmann „das Erfassen und Bewerten von Prozessen und Ergebnissen zur Wirkungskontrolle, Steuerung und Reflexion im Bildungsbereich.“ Dies wird oft auch als Lehrevaluation bezeichnet.

Gegenstand von Evaluation können Prozesse (Untersuchungsfrage: Wie läuft etwas ab?) und Outcomes (Untersuchungsfrage zum Beispiel Was kommt heraus? Wie ist das Ergebnis?) aus dem Bereich der Mikrodidaktik ebenso wie der Makrodidaktik sein. Auch gesamte Programme können evaluiert werden, meist in Form der Ex-Post-Evaluation.

Für eine Evaluation werden Daten methodisch organisiert erhoben und systematisch dokumentiert, um die Untersuchung, das Vorgehen und die Ergebnisse nachvollziehbar und überprüfbar zu machen.

Standardverfahren zur Datenerfassung sind Befragung, Beobachtung, Test, Fragebogen, und Materialanalyse. Als Datenquellen stehen interne (sind Teile des evaluierten Systems) und externe (stehen außerhalb) zur Verfügung.

Die Bewertung erfolgt durch den Vergleich der ermittelten Ist-Werte mit vorher explizit festgelegten und begründeten Soll-Werten (anzustreben sind dabei operationalisierte Zielformulierungen) anhand nachvollziehbar festgelegter Indikatoren. Dabei unterscheidet man Akzeptanzkriterien (Wie sind die Inhalte bei den Teilnehmern angekommen?), Lernkriterien (Kann der Inhalt von den Teilnehmern korrekt wiedergegeben werden?), Transferkriterien (Führt das Gelernte zu merkbaren Verhaltensänderungen der Teilnehmer?) und Ergebniskriterien (Kann man Veränderungen am Output der Teilnehmer feststellen?).

Evaluation soll bestimmte Gütekriterien erfüllen: neben den Grundvoraussetzungen didaktische Nützlichkeit und Objektivität sind dies Reliabilität, Validität, Ökonomie und Normierung. Mit der Forschung verbindet Evaluation das Bemühen um intersubjektive Überprüfbarkeit, allerdings untersucht sie konkrete Einzelfälle und ist stark praxisorientiert.

Evaluation dient der rückblickenden Wirkungskontrolle (zum Beispiel: Zeigt eine Bildungsmaßnahme den angestrebten Erfolg?), der vorausschauenden Steuerung (Wie muss die Fortsetzung eines Kurses gestaltet, was an der Teilnehmer-Auswahl verändert oder wie der Dozent werden?) und / oder der Reflexion und dem Verständnis von didaktischen Situationen, Prozessen und Problemen.

Programmevaluation ist die systematische Gewinnung von Informationen über Merkmale, Aktivitäten oder Ergebnisse eines Programms, um dessen Bewertung zu ermöglichen, sei es als Grundlage, um das Programm zu beurteilen, seine Wirksamkeit zu verbessern oder die künftige Programmentwicklung zu orientieren (vgl. Hojnik 1998, unveröffentlichtes Skriptum).

Merkmale

• Formative Evaluation ist prozessbegleitend. Bildungsmaßnahmen werden kontinuierlich während des gesamten Entwicklungsprozesses getestet.
• Summative Evaluation ist produktbewertend. Die Qualität einer Bildungsmaßnahme soll abschließend bewertet werden.
• Lernzielbasierte Evaluation, deren Hauptmerkmal ist die exakte Formulierung von verhaltensbasierten Lernzielen vor der Durchführung der Bildungsmaßnahme. Der Erfolg wird an der Erreichung dieser Lernziele gemessen.

SEIS - Selbstevaluation In Schulen

Die SEIS Deutschland Geschäftsstelle ist seit dem 13. Oktober 2008 beim Niedersächsischen Landesamt für Lehrerbildung und Schulentwicklung (NILS) untergebracht.

SEIS ist ein computergestütztes Selbstevaluationsinstrument für Schulen. Die Befragung kann sowohl am PC, als auch mit Hilfe von Papierfragebögen durchgeführt werden. Über 4.700 Schulen nutzen SEIS. Für verschiedene Schulformen stehen individuelle Fragebögen zur Verfügung.

Die Daten werden automatisch ausgewertet und der Schule anschließend in einem umfangreichen Bericht zur Verfügung gestellt. Der Bericht ist mit Interpretationshilfen versehen. Auf Wunsch kann eine detaillierte Auswertung von einem Kommentarschreiber vorgenommen werden.

Evaluationen im Umweltbereich

Der Umweltschutz gehört bisher weder in den USA noch in Europa zu den zentralen Anwendungsgebieten der Evaluationsforschung. Sozialwissenschaftliche Studien zur Evaluation von Umweltproblemen sind abgesehen von einigen Ausnahmen vor allem im Bereich des Energieverbrauchs, des Lärmschutzes und der Abfallproduktion selbst im Rahmen größerer politischer Programme eher selten (zu den Ausnahmen in Deutschland gehören die Arbeiten des CEval an der Universität Saarbrücken und des Research Institute for Managing Sustainability der WU Wien.

Eine Ursache ist sicherlich in der vergleichsweise geringen Anerkennung der Sozialwissenschaften als kompetente Ansprechpartner in Umweltfragen zu sehen, was sich erst angesichts mangelnder Erfolge von Maßnahmen zur Steigerung des Umweltbewußtseins in den neunziger Jahren grundlegend verändert hat. Nachdem die Formel Umweltaufklärung schafft Umweltbewußtsein und Umweltbewußtsein führt zu einem entsprechenden Verhalten durch eine Vielzahl sozialwissenschaftlicher Studien widerlegt und auf die Bedeutung sozialer Faktoren für das umweltrelevante Individualverhalten hingewiesen wurde, begann sich die Umweltdiskussion auch für sozialwissenschaftliche Fragestellungen zu öffnen und verabschiedete sich zunehmend von der Auffassung, dass Umweltprobleme rein durch technische Lösungen zu bewältigen seien.

Gegenwärtig ist die Nachfrage nach Umweltevaluationen sehr stark durch öffentliche Auftraggeber bestimmt. Die Aufträge beziehen sich vorrangig auf die Bewertung politischer Programme oder einzelner Projekte. Insbesondere bei internationalen Organisationen sind dabei Tendenzen zur Entwicklung von Qualitätsanforderungen, die eine Einführung von Umweltevaluationen als Regelverfahren bei der Durchführung politischer Verfahren vorbereiten sollen, zu erkennen. In Deutschland sind auf Bundes- und Landesebene bei den politischen Instanzen bisher bestenfalls erste Ansätze in dieser Richtung wahrzunehmen. Durch den großen Stellenwert von Evaluationen bei der Stadt- und Raumplanung ist eine Etablierung von sozialwissenschaftlichen Umweltevaluationen durch Einbindung in bestehende, eher technisch orientierte (Planungs-)Verfahren wie zum Beispiel die Umweltverträglichkeitsprüfung sogar eher auf regionaler und kommunaler Ebene zu erwarten. Die private Nachfrage nach Umweltevaluationen sowohl durch Unternehmen als auch durch Verbände und zivilgesellschaftliche Organisationen ist dagegen noch sehr gering. Trotz der Entwicklung von Umweltmanagementsystemen (zum Beispiel EMAS) ist eine Einbindung der Erkenntnisse der sozialwissenschaftlichen Evaluationsforschung in die Qualitätsmanagementsysteme der Betriebe bisher nicht gelungen.

Auf der Angebotsseite dominieren zumindest teilweise staatlich finanzierte Forschungsinstitute den Markt. Institute, die sich ausschließlich auf die Durchführung von Umweltevaluationen spezialisiert haben, gibt es dabei jedoch nicht. Am weitesten geht hier die Entwicklung beim Centrum für Evaluation der Universität des Saarlandes (CEval), dem Centre for Sustainable Management (CSM) der Universität Lüneburg und dem Research Institute for Managing Sustainability (RIMAS) der Wirtschaftsuniversität Wien.

Auch bei den privaten Consultings haben nur wenige den Schwerpunkt ihrer Tätigkeiten auf sozialwissenschaftliche Umweltevaluationen gelegt. Hier sind als Beispiele das Institut für sozial-ökologische Forschung (ISOE) und das Institut für ökologische Wirtschaftsforschung (IOEW) zu erwähnen. Darüber hinaus haben auch eingeführte Umweltwissenschaftliche Institute wie das Wuppertal-Institut, das Öko-Institut in Freiburg oder das IFEU-Institut in Heidelberg ihr Angebot in Richtung sozialwissenschaftlicher Forschungsarbeiten erweitert, ohne hierin jedoch ein primäres Geschäftsfeld zu sehen und entsprechende Aufbauarbeiten zu leisten. Angesichts der steigenden Anforderungen, die sich durch das Leitbild der „nachhaltigen Entwicklung“ für die Einführung entsprechender Maßnahmen ergeben, ist allerdings trotz der schwierigen Ausgangslage auch im Umweltbereich eine expansive Entwicklung des Evaluationsmarktes und eine fortschreitende Professionalisierung des Angebots zu erwarten.

Die von 2002 bis 2010 regelmäßig durchgeführten Konferenzen und Trainings der Serie „EASY-ECO – Evaluation of Sustainability“ haben europaweit das Themenfeld etabliert, einen Erfahrungsaustausch initiiert und junge ForscherInnen bzw. EvaluatorInnen mit Methodenwissen und Fallbeispielen unterstützt.

Evaluation in der internationalen Entwicklungszusammenarbeit

Evaluationen in der Entwicklungszusammenarbeit (EZ) haben bereits eine lange Tradition. Der Schwerpunkt liegt dabei auf Evaluationen von Projekten und Programmen.

Die ausgeprägte Evaluationskultur innerhalb der EZ ist vor allem darin begründet, dass die im Rahmen von Projekten und Programmen eingesetzten Mittel stets gegenüber den Geldgebern gerechtfertigt werden mussten und müssen.

Evaluationsansätze in der EZ werden darüber hinaus stark durch internationale Abmachungen, insbesondere der Milleniumserklärung und der Pariser Erklärung geformt. Die sog. „Harmonisierung“ als durchgängiges Prinzip der EZ schlägt sich beispielsweise in der Forderung nach Gemeinschaftsevaluierungen der Akteure nieder. In Deutschland haben sich staatliche EZ-Organisationen der „EZ aus einem Guss“ verpflichtet und streben auch bei Evaluationen ein einheitliches Vorgehen an. Partnerländer übernehmen zunehmend die Rollen des Auftraggebers und des Durchführenden von Evaluation.

Was die Evaluationsgegenstände betrifft, so verlagert sich der Fokus immer mehr von der Output-Evaluation als Leistungsnachweis hin zu Evaluation der Wirkungen (Outcomes und Impacts) von EZ-Projekten und -Programmen. Man arbeitet mit Wirkungsketten und ausgefeilten Evaluationsdesigns, wie zum Beispiel der Logical Framework Matrix („Logframe“).

Traditionelle Evaluationskonzepte- und methoden, die auf linearen Kausalitätsmodellen beruhen, werden jedoch zunehmend hinterfragt und durch kybernetische Ansätze ergänzt oder gar verdrängt. Eine ähnliche Entwicklung, wie sie derzeit auch im Bereich der Organisationsentwicklung und –evaluation stattfindet.

Neben den Evaluationsabteilungen großer meist staatlicher EZ-Organisationen, wie zum Beispiel der GTZ sind im deutschsprachigen Raum vor allem auch Forschungsorganisationen, wie die Ceval oder die proEval in Österreich an der Professionalisierung der Evaluation in der EZ beteiligt. Neben der Suche nach innovativen (Selbst-)Evaluationsmethoden (zum Beispiel Lernhelix) erscheint die (Weiter-)Entwicklung wissenschaftlich fundierter Konzepte als Grundlagen für Evaluation, wie zum Beispiel das Dienstleistungsqualitäts- oder das Lebensqualitätskonzept erscheint dabei besonders wichtig. Im Vergleich zu anderen Branchen, wie zum Beispiel dem Bildungs- oder dem Gesundheits- und Sozialwesen, findet in der EZ vergleichsweise wenig wissenschaftliches Knowhow („evidence base“) Eingang in die Evaluation.

Organisationen

Die 1997 gegründete Deutsche Gesellschaft für Evaluation (DeGEval) – 2005 in DeGEval-Gesellschaft für Evaluation umbenannt – hat zahlreiche Arbeitskreise, unter anderem für Evaluation an Schulen, an Hochschulen, in der beruflichen und betrieblichen Bildung, im Umweltbereich, von Entwicklungspolitik, von Forschungs-, Technologie- und Innovationspolitik, von Strukturpolitik, im Gesundheitswesen und in der Wirtschaft. 2002 hat sie Standards der Evaluation herausgegeben, 2003 Empfehlungen für die Aus- und Weiterbildung von Evaluatoren, 2004 Empfehlungen zur Selbstevaluation sowie weitere Handreichungen zur Planung und Durchführung von Evaluationen. Ihre Mitglieder stammen überwiegend aus Deutschland und Österreich.

Im internationalen Bereich haben Organisationen wie UN, EU, OECD, IWF, etc. eigene Evaluations-Abteilungen, welche jeweils neben der Bearbeitung konkreter Fragestellungen auch allgemeine Standards und Methoden sammeln, entwickeln und aufbereiten (siehe Weblinks).

Verwandte Themen und Begriffe

Deduktion, Induktion, Optimierung, Positivismusstreit, Pragmatismus, Qualitätsmanagement, Werturteilsstreit, Wissenschaft

Literatur zum Thema Evaluation

Evaluation in der Pädagogik

• K.-O. Bauer (2007): Evaluation an Schulen. Theoretischer Rahmen und Beispiele guter Evaluationspraxis. Weinheim und München
• H. Brügelmann (1976): Curriculumevaluation – eine Dienstleistung für die Unterrichtspraxis.
• H. Brügelmann (1983): Unterstützung der pädagogischen Praxis durch naturalistische Evaluation.
• Heinz Günter Holtappels (2003): Schulqualität durch Schulentwicklung und Evaluation. Konzepte, Forschungsbefunde, Instrumente. München
• N. Landwehr (2003): Steiner P.:Q2E – Qualität durch Evaluation und Entwicklung. Bern
• Kerstin Lück (2006): Evaluationsmethoden der Bildungsforschung. Ludwigsfelde: LISUM
• Hans Merkens (Hrsg.)(2004): Evaluation in der Erziehungswissenschaft. [DGfE] Wiesbaden.
• M. Ruep und G. Keller (2007): Schulevaluation. Frankfurt am Main
• Ch. Wulf (Hrsg.)(1972): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversuchen. München.

Evaluation und Qualitätsmanagement

• Stefan Blank (2004): Evaluation im Kontext des organisationalen Lernens. Der Beitrag reflexiver Bewertungsoperationen zur Entwicklung lernender Systeme. Zum Buch
• Margret Bülow-Schramm (2003): Evaluation auf dem Weg zum Qualitätsmangement. In: Hochschulrektorenkonferenz (Hrsg.): Evaluation und ihre Konsequenzen. Beiträge zur Hochschulpolititk 2/2003. Bonn: HRK, 13-14.
• Reinhard Stockmann (2006): Evaluation und Qualitätsentwicklung – Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Aus der Reihe sozialwissenschaftliche Evaluationsforschung, Band 5; © Waxmann Verlag GmbH, Münster 2006. mehr Infos zum Buch
• Claudia Wiepcke (2007): Qualitätsmanagement im E-Learning durch 360-Grad Evaluation. In: A. Hohenstei, K. Wilbers: Handbuch E-Learning. Expertenwissen aus Wissenschaft und Praxis, Neuwied

Evaluationsforschung

• Jürgen Bortz und Nicola Döring (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4., überarbeitete Auflage. Springer, Berlin
• Deutsche Forschungsgemeinschaft (2002): Reform des Begutachtungssystems
• Lutz J. Heinrich und Irene Häntschel (2000) (Hrsg.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. München: Oldenbourg Wissenschaftsverlag
• Reinhard Stockmann (Hrsg.) (2006): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. (3.). Wiesbaden: VS
• Carol H. Weiss (1974): Evaluierungsforschung. Westdeutscher Verlag, Opladen

Evaluationsmethodik

• L. Balzer (2005): Wie werden Evaluationsprojekte erfolgreich? – Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik. mehr Infos zum Buch
• W. Beywl (1988): Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation. Frankfurt a.M. unter anderem mehr Infos zum Buch sowie redigitalisierte PDF
• Thomas D. Cook, Charles S. Reichardt (Hrsg.) (1979): Qualitative and quantitative methods in evaluation research. Beverly Hills, CA: Sage
• Udo Kuckartz, Thorsten Dresing, Stefan Rädiker und Claus Stefer (2007): Qualitative Evaluation. Der Einstieg in die Praxis. Wiesbaden mehr Infos
• Reinhard Stockmann (Hrsg.) (2007): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster: Waxmann mehr Infos zum Buch

Standards für Evaluation

• Deutsche Gesellschaft für Evaluation (2002): Standards für Evaluation. Köln. mehr Infos
• James R. Sanders (2006): Handbuch der Evaluationsstandards – Die Standards des „Joint Committee on Standards for Educational Evaluation“. 3. Auflage. Übersetzt von Beywl, W. & Widmer, T. Wiesbaden.

Andere Bereiche

• V. Bank und M. Lames: Über Evaluation. Kiel 2000
• M. Bergmann et al. (2005): Qualitätskriterien transdisziplinärer Forschung. Ein Leitfaden für die formative Evaluation von Forschungsprojekten. ISOE-Studientexte, Nr. 13
• Werner Bussmann, Ulrich Klöti und Peter Knoepfel (Hrsg.) (1997): Einführung in die Politikevaluation. Basel: Helbing & Lichtenhahn. Redigitalisierte Fassung 2004 als PDF
• Mario Gollwitzer und Reinhold S. Jäger (2007). Evaluation – Workbook. Weinheim: Beltz
• Oliver Haas (2002): Wirkungsbeobachtung von Trainingsmaßnahmen für Klein(st)unternehmer. Berlin, Verlag für Wissenschaft und Forschung
• Maja Heiner (1988): Von der forschungsorientierten zur praxisorientierten Selbstevaluation. Entwurf eines Konzeptes. In: dies. (1988) (Hrsg.): Selbstevaluation in der Sozialen Arbeit. Fallbeispiele zur Dokumentation und Reflexion beruflichen Handelns. Freiburg i.B.
• Helmut Kromrey (2002): Empirische Sozialforschung. Opladen: Leske + Budrich
• Müller Münch: Evaluation in der betrieblichen Weiterbildung als Aufgabe und Problem. In: Dürr, W. et al.: Personalentwicklung und Weiterbildung in der Unternehmenskultur. Baltmansweiler 1988
• Univation (Hrsg.) (2004): Das A-B-C der wirkungsorientierten Evaluation. Glossar – Deutsch / Englisch – der wirkungsorientierten Evaluation. Köln. www.univation.org
• C.J. Weiss (1998): Evaluation (2. Auflage): Upper Saddle River, NJ: Prentice Hall
• J.S. Wholey, H.P Hatry und K. E. Newcomer (Hrsg.) (1994): Handbook of Practical Program Evaluation. San Francisco, CA: Jossey-Bass
• Thomas Widmer (1996): Meta-Evaluation. Kriterien zur Bewertung von Evaluationen. Bern: Haupt
• Claudia Wiepcke 2006: Computergestützte Lernkonzepte und deren Evaluation in der Weiterbildung. Hamburg
• H. Wottawa, H. Thierau (2003): Lehrbuch Evaluation. 3. Aufl.. Bern: Hans Huber

Allgemeine Grundlagen

• Barbara Minto (2005): Das Prinzip der Pyramide. Ideen klar, verständlich und erfolgreich kommunizieren. Pearson.
• Tom Morris (2002), Philosophie für Dummies, Wiley-Vch.
• Thomas Nagel (2008): Was bedeutet das alles? Eine ganz kurze Einführung in die Philosophie. Reclam.
• Robert M. Pirsig (1978): Zen und die Kunst ein Motorrad zu warten: Ein Versuch über Werte. Fischer.
• Robert M. Pirsig (2006): Lila oder ein Versuch über Moral. Fischer.
• Karl Popper (1945): Die offene Gesellschaft und ihre Feinde; engl. (2002): The Open Society and Its Enemies 1 + 2. Taylor & Francis.
• Gerhard Schurz (2006): Einführung in die Wissenschaftstheorie. Wissenschaftliche Buchgesellschaft.
• Max Stirner (1844): Der Einzige und sein Eigentum, Reclam (1972).
• Henry David Thoreau (1849): Über die Pflicht zum Ungehorsam gegen den Staat. Diogenes.
• Larry Webber, Michael Wallace (2008), Qualitätssicherung für Dummies: Qualität ist gut. Kontrolle ist besser, Wiley-Vch.
• Mark Zegarelli (2008): Logik für Dummies. Wiley-Vch.

Weblinks

Kritischer Rationalismus

• Portrait: Die offene Gesellschaft und ihre Feinde; Skeptischer Weltverbesserer: Vor hundert Jahren wurde der Philosoph Karl Raimund Popper geboren, aus: Die Zeit, 2002, 31

Allgemein

• Umfangreiches Glossar zum Thema Evaluation (PDF-Datei; 349 kB)]
• Umfangreiches mehrsprachiges Portal zum Thema Evaluation
• Evaluation und Qualitätssicherung im Bildungswesen – enthält ein umfangreiches Online-Wörterbuch zum Themenbereich Evaluation
• Kriterien der Evaluation (engl.)
• Qualität in der Unterrichtspraxis – Vortrag von Helmut Heid, Prof.em.Dr., Universität-Regensburg – pdf (94 kB)
• Selbstevaluation – was ist das? – Demokratie-Bausteine
• Die Lebenslüge im Erziehungssystem Systemtheoretische Analyse der Evaluation im Schulsystem (PDF-Datei; 764 kB)
• Evaluation als modernes Ritual – pdf (166 kB)

Hilfen

• How to evaluate (1) - Internet-Tutorial
• How to evaluate (2) - Internet-Tutorial
• Basic Guide to Program Evaluation - Internet-Tutorial
• Strategic Evaluation How To’s - Internet-Tutorial
• How to evaluate education initiatives - Internet-Tutorial
• Practical Assessment, Research & Evaluation - Internet-Tutorial
• How to Evaluate the Quality of Records Management Teaching and Its Effectiveness - Internet-Tutorial
• How to Evaluate the Information Sources You Find - Internet-Tutorial
• How to evaluate information - Internet-Tutorial

Organisationen

• OECD DAC Evaluation Quality Standards
• Link-Site der IEO, Independent Evaluation Office of the International Monetary Found
• Website der UNEG, United Nations Evaluation Group
• Europäische Kommission EUROPEAID Methodological Guidelines for Geographic and Thematic and/or Project and Programme Evaluations
• Canadian Evaluation Society
• American Evaluation Society
• European Evaluation Society
• Gesellschaft für Evaluation (Deutschland)
• Website des TÜV Rheinland
• NASA Quality Program