Baustelle!

"###" ist meine persönliche to-do Markierung und signalisiert mir (und Ihnen), dass es hier noch etwas ergänzt oder überarbeitet werden soll.

Wichtigste übergreifende Baustelle ist das bisher angewendete generische Maskulinum, das im Rahmen eines geplanten Umzugs der Seiten ersetzt werden wird.

Im Kontext theoriebasierte Evaluation nach Chen (1991) jener Teil der Programmtheorie, der die Inputs/Rahmenbedingungen mit den Aktivitäten oder Prozessen eines Programms verbindet, also die Annahmen darüber, welche Voraussetzungen notwendig bzw. hinreichend sind, um die geplanten Handlungsmaßnahmen eines Programms zu realisieren.

Beispiel: In der Programmtheorie eines Elterntrainings der University of Wisconsin zur Verbesserung familiärer Beziehung lauten die Annahmen des action model, dass die Bereitstellung von Personal (staff), Finanzmitteln (money), der Unterstützung durch Partnerorganisationen (partners) und Forschungsergebnissen (research) dazu führen, dass die wesentlichen Aktivitäten des Programms durchgeführt werden bzw. werden können.

Chen bezeichnet das action model auch als die normative Theorie des Programms.

Zur Relevanz der Unterscheidung von action model und change model im Rahmen von Programmtheorien s. change model.

Synonyme: normative theory, Normative Theorie, Handlungsmodell, action model

Anerkennung im Rahmen eines reglementierten Verfahrens durch die Feststellung, ob bestimmte Kriterien und Standards erfüllt werden.

Varianten: (a) Die DIN EN 45003:1995 definiert Akkreditierung etwas enger als "Verfahren, in dem eine maßgebliche Stelle formell anerkennt, daß eine Stelle oder Person kompetent ist, bestimmte Aufgaben auszuführen" (Quelle ). (b) Im Bereich Hochschule beziehen sich Akkreditierungen meist auf neue oder bestehende Studiengänge, die vor allem im Kontext des aktuellen Bologna-Prozesses auf international gültigen Kriterien hin überprüft und anerkannt werden.

Akkreditierungen können als eine Form der Evaluation betrachtet werden, da alle Schritte der Logik der Evaluation durchlaufen werden.

Je nach Kontext werden Akkreditierung und Zertifizierung mehr oder weniger synonym verwendet, teils gibt es aber auch Tendenzen zur Abgrenzung. Für den Deutschen Akkreditierungs Rat (DAR ) etwa bezieht sich die Akkreditierung auf die Anerkennung von Zertifizierungsstellen, ist also eine Arte Meta-Zertifizierung.

Synonyme: accreditation

Strategien, Einzelmaßnahmen und Handlungsschritte, die bei der operativen Umsetzung eines Programms ausgeführt werden.

Umfasst direkt auf Programmziele gerichtete Interventionen sowie indirekte Maßnahmen wie Hilfsaktivitäten, Schulungen, Beratungen, Entwicklungstätigkeiten etc.

Aktivitäten (Prozesse) sind ein typisches Element von logischen Modellen. Ihre Überprüfung ist Gegenstand der Implementierungskontrolle.

Synonyme: Prozesse, Prozess, activities, processes, process

Einflussreicher Evaluationstheoretiker, der seit den 1970er Jahren wichtige Beiträge zu Themen wie Evaluationsnutzung, Evaluationstheorie, Evaluationsgeschichte, Didaktik der Evaluation und Forschung über Evaluation geleistet hat.

Alkin hat neben Weiss und Patton bereits in den 1970er Jahren wichtige Arbeiten zur Nutzung von Evaluation vorgelegt. Er ist Herausgeber von "Evaluation Roots", in dem er die ideengeschichtliche Entwicklung wichtiger Evaluationsansätze durch deren jeweilige Urheber darstellen lässt und eine Systematisierung in Form des Evaluation Theory Tree vorschlägt. Jüngst hat er mit "Evaluation Essentials" ein sehr erfrischend zu lesendes Spätwerk vorgelegt, in dem sein Denken sehr gut zu Tage kommt.

Kommentar: Alkin ist weniger bekannt als andere Koryphäen der Evaluation seiner Generation wie etwa Patton, Scriven oder Stufflebeam, vielleicht da er im Gegensatz zu diesen nie einen eigenständigen Evaluationsansatz und erst spät ein eigenes Lehrbuch (Evaluation Essentials, 2010) vorgelegt hat. Gerade das verschafft ihm aber eine gewisse Neutralität und Distanz, was neben seiner Vielseitigkeit mit dazu beiträgt, dass ich seine Arbeiten immer lesenswert empfinde.

Synonyme: Alkin

Eine nicht eindeutig definierte Gruppe von Evaluationsmodellen, die seit den 1970er Jahren aus Kritik an der gängigen Evaluationspraxis entstanden sind.

Kennzeichen sind u.a. die Aufwertung der Rolle der Stakeholder im Evaluationsprozess, Methoden- und Wertepluralismus, qualitative Methoden, Präferierung sekundärer Evaluationszwecke und teils eine konstruktivistisch beeinflusste erkenntnistheoretische Fundierung. In diesem Sinne können zu den alternativen Ansätzen u.a. gerechnet werden:

• Empowerment Evaluation
• Fourth-Generation Evaluation
• Transformative Participatory Evaluation
• Democratic Evaluation

Synonyme: alternative evaluation models, alternative evaluation theories, alternative evaluation approaches, alternative Evaluationstheorie, alternative Evaluationsansätze, alternativer Evaluationsansatz

Wichtigster nordamerikanischer und interationaler Fach-, Berufs- und Interessensverband im Bereich Evaluation.

Die AEA ist 1986 aus den zwei Vorläuferorganisationen Evaluation Network (ENet) und Evaluation Research Society (ERS) hervorgegangen. Sie gibt unter anderem zwei maßgebliche Zeitschriften heraus, die New Directions for Evaluation und das American Journal of Evaluation.

Synonyme: American Evaluation Association, AEA

Anwendung empirischer Forschungsmethoden mit primär aus der Praxis heraus motivierten Fragestellungen, zur Lösung praktischer Problemstellungen bzw. mit nicht-wissenschaftlichen Zielen (im Gegensatz zur Grundlagenforschung).

Obwohl Evaluation der angewandten Forschung bzw. Sozialforschung zugerechnet werden kann, besteht in der Evaluationsforschung weitgehend Konsens, dass sie nicht darauf reduziert werden darf. Vielmehr ist sie als eigenständige Disziplin anzusehen, die v. a. aufgrund ihrer sozialen Funktionen (s. Evaluationsziele), ihrer spezifischen Akteurskonstellationen und des Auftragskontexts eigene Evaluationskompetenzen verlangt.

Synonyme: applied social research, Anwendungsforschung, applied research, Angewandte Sozialforschung

Weiterführende Literatur

Im Kontext logisches Modell sind Annahmen eine optionale Komponente, die notwendige Vorbedingungen für die Durchführung und/oder Wirksamkeit eines Programms enthält.

Annahmen in diesem Sinne können sich etwa auf das Vorliegen eines tatsächlichen Bedarfs oder Problembewusstseins beziehen oder Mindestvoraussetzungen der Zielgruppe, weiterer Beteiligter oder des Programmkontexts umfassen.

Im Gegensatz zu Inputs/Ressourcen handelt es sich hier um Ausgangsbedingungen, die nicht durch das Programm selbst bereit- oder hergestellt werden, sondern als gegeben vorausgesetzt werden. Daher kann es wichtig sein, die Erfüllung dieser Annahmen frühzeitig in einer Evaluation zu überprüfen.

Evaluation, die den alleinigen Evaluationszweck verfolgt, einem Gegenstand Wert oder Nutzen "zuzuschreiben", ohne dass dieses Wissen für Verbesserungs- oder Entscheidungzwecke verwendet wird.

Michael Scriven verwendet den Begriff seit wenigen Jahren zur Ergänzung seiner ursprünglich dichotom gedachten Unterscheidung von formativer Evaluation und summativer Evaluation.

Beispiel: Als Beispiel nennt Scriven (2004) die historisch rückblickende Bewertung von Regierungsmaßnahmen wie der Einberufung von Rekruten im Vietnamkrieg. Da dieser abgeschlossen ist, können die Evaluationsergebnisse weder zur Verbesserung der Maßnahme (formativ) noch zur Entscheidung über ihre Fortsetzung oder Beendigung (summativ) dienen und seien daher ascriptive.

Kommentar: Das späte Eingeständnis Scrivens, dass es doch noch etwas neben formativ und summativ gibt, sehe ich als weiteren Beleg der konzeptionellen Schwäche der formativ/summativ Unterteilung. Vor allem die Verwischung von intendierten Evaluationszwecken (vor der Evaluation) und der Nutzung von Evalutionsergebnissen (während oder nach der Evaluation) wird hier evident, aber auch die unklare Differenzierung zwischen Konzept und Durchführung einer Maßnahme. Im Beispiel: Der Vietnamkrieg (Durchführung einer Maßnahme) mag abgeschlossen sein, aus seiner Evaluation könnte aber durchaus das Konzept dieser Maßnahme (also die zugrundeliegende politische Strategie) verbessert werden, etwa im Hinblick auf aktuelles Regierungshandeln. Handelt es sich dann plötzlich doch um eine formative Evaluation?

Synonyme: askriptive Evaluation

Feststellung der Ausprägung einer Variablen für ein gegebenes Objekt; im messtheoretischen Sinne: Zuordnung von Zahlen zu Objekten oder Ereignissen durch die homomorphe Abbildung eines empirischen Relativs in ein numerisches Relativ (Bortz & Döring, 2002).

Wird teils synonym mit Evaluation verwendet, ist aber genau genommen nur eine Teilaktivität, da zur Bildung eines evaluativen Urteils der gemessene Wert in Bezug zu Standards gesetzt werden muss (vgl. Logik der Evaluation).

Beispiel: Messung der Akzeptanz einer Maßnahme, des Lernerfolgs einer Person oder der Kosten einer Innovation.

Varianten: Im engl. meint Assessment oft auch im engeren Sinne Notengebung oder Lernerfolgsmessung.

Synonyme: Messung

Weiterführende Texte

Person oder Institution, die eine Evaluation bei einem Evaluationsteam (Auftragnehmer) in Auftag gibt. Ist in vielen Fällen auch Entscheider bzw. Abnehmer der Berichterstattung der Evaluation.

Bei einer Selbstevaluation fallen die Rollen Auftraggeber, Evaluator und Praktiker ganz oder teilweise zusammen.

Synonyme: administrator, sponsor, Klient, client

Weiterführende Texte

Curricular konzipierte Bildungsgänge, die umfassend auf eine Tätigkeit als Evaluator/in vorbereiten.

Im deutschsprachigen Raum sind mir folgende Aus- und Fortbildungsmöglichkeiten bekannt (Ergänzungen bitte melden):

• Nachdiplomstudiengang Evaluation der Universität Bern
• Fortbildungsprogramm Evaluation in der Entwicklungszusammenarbeit (FEEZ )
• Aufbaustudiengang Evaluation der Universität des Saarlandes, der Hochschule für Technik und Wirtschaft des Saarlandes und der Katholischen Hochschule für Soziale Arbeit Saarbrücken
• Masterstudiengang Evaluation der Universität Bonn in Zusammenarbeit mit dem Zentrum für Evaluation und Methoden (ZEM)

Die DeGEval hat 2004 "Empfehlungen für die Aus- und Weiterbildung in der Evaluation" vorgelegt, welche im Sinne von Lernzielen Kompetenzen, Fertigkeiten und Kenntnisse definieren, die als notwendig für Evaluatoren angesehen werden.

Wolfgang Beywl hat einen Überblick europäischer Studiengänge zusammengestellt, der 2006 im Journal Evaluation: The International Journal of Theory, Research and Practice erscheinen soll. Ein Überblick der AEA über universitäre Programme in den USA gibt es hier .

Synonyme: training in evaluation, Ausbildung, Evaluationstraining, Fortbildung, Weiterbildung

Identifizierbares Defizit von Individuen, Organisationen, Systemen oder sonstigen Sachverhalten, dem durch ein Programm, ein Produkt, eine politische Strategie oder anderen Evaluationsgegenständen entgegengewirkt werden soll.

Bedarf lässt sich definieren als "messbare Diskrepanz zwischen zwei Bedingungen - 'was ist' (dem aktuellen Zustand) und 'was sein sollte' (dem wünschenswerten Zustand)" (Altschuld & Kumar, 2010, S. 3, Übers. JH).

Das Vorliegen eines Bedarfs ist die erste Voraussetzung für den Erfolg eines Evaluationsgegenstands. Wo kein Bedarf erkennbar ist, da kann auch keine sinnvolle Intervention geplant werden. Daher verlangen verschiedene Evaluationsansätze (z.B. CIPP) und Evaluationstheoretiker (z.B. Scriven, s. KEC), dass einer Evaluation im Normalfall auch eine Bedarfsanalyse vorangehen sollte.

Davidson (2005) unterscheidet

• bewussten vs. unbewussten Bedarf,
• erfüllten vs. unerfüllten Bedarf und
• performance vs. instrumental need (Ergebnis- vs. Mittelbedarf, Übers. JH). Mittelbedarf bezieht sich dabei auf mögliche Wege, einen vorhandenen Ergebnisbedarf zu beseitigen, und ist schwieriger zu rechtfertigen, da dazu in der Regel mehrere alternative Wege in Frage kommen.

Synonyme: need

Die Bestimmung von Problemen oder Defiziten (Bedarfen) in einer bestimmten Situation oder einem Handlungsfeld, welche die Notwendigkeit von Maßnahmen begründen.

Nach Rossi, Freeman & Lipsey (2004) ist die Bedarfsanalyse fundamental für jede Programmevaluation, da kein Programm ein Problem verbessern kann, das es nicht gibt, oder wenn es nicht auf die vorhandenen Bedarfslagen zugeschnitten ist. Daher ist die Bedarfsanalyse für sie eine eigene Evaluationsform: "An evaluative study that answers questions about the social conditions a program is intended to address and the need for the program." (p. 429).

Die Bedarfsanalyse entspricht in etwa der Kontextevaluation im CIPP-Modell.

Synonyme: needs analysis

Relevanz oder Wichtigkeit eines Evaluationsgegenstands bzw. seiner Wirkungen oder Impacts. Nach Scriven neben Güte und Nutzen die dritte allgemeine Bewertungsdimension und definitorisches Kernelement der Evaluation.

Scriven versteht significance als "bottom line" (1991, p. 331) einer Evaluation, also als zusammenfassendes Werturteil, das bei der finalen Synthese (vgl. Key Evaluation Checklist) einer Evaluation gebildet wird.

Kommentar: Wie so oft ist Scriven leider schwammig und konzeptionell unpräzise in seinen Definitionen, so dass inhaltlich die Abgrenzung bzw. das Verhältnis von significance zu Güte und Nutzen etwas unklar bleibt. Hinzu kommt die Verwechslungsgefahr mit dem ohnehin bereits semantisch überfrachteten Begriff statistische Signifikanz.

In der Übersetzung mit "Bedeutsamkeit" folge ich dem Eval-Wiki .

Synonyme: significance

Jene, die von einem Evaluationsgegenstand nicht profitieren, obwohl sie ähnliche Bedarfslagen wie die Zielgruppe hätten, oder durch ihn sogar negativ betroffen sind.

Synonyme: victims

Weiterführende Texte

Bekanntmachung von Evaluationsergebnissen durch das Evaluationsteam. Erfolgt meist in Form von schriftlichen Zwischen- und Abschlussberichten (Evaluationsbericht), kann aber je nach Evaluationszweck auch weniger formalisiert, kontinuierlich und prozessbegleitend erfolgen.

Primärer Abnehmer der Berichterstattung sind gewöhnlich Entscheider und/oder Auftraggeber, je nach Evaluationskonzept und Evaluationszwecken kann sie sich aber auch oder sogar primär an Beteiligte und Betroffene, sowie an die interessierte Öffentlichkeit richten. Die Rahmenbedingungen einer Evaluation können es aber auch mit sich bringen, dass die Berichterstattung nicht oder nur in Teilen veröffentlicht wird, was einen der Unterschiede von Evaluation und Grundlagenforschung ausmacht.

Synonyme: reporting

Controlling der Bildungsmaßnahmen einer Organisation.

Bildungscontrolling wird gewöhnlich als Planungs- und Steuerungsinstrument verstanden, das zur Abstimmung von Bedarfslagen und Qualifikationsmaßnahmen der Bildungsarbeit im Management von Unternehmen bzw. in der Administration von Bildungsinstitutionen und -systemen eingesetzt wird (Hense, Mandl & Schratzenstaller, 2005).

Umfassendere Ansätze des Bildungscontrolling modellieren den Bildungsprozess als Regelkreis, bei dem meist die Elemente Bedarfslage, Zielsetzungen, Inputs, Lernprozesse und mehrere Ebenen von Wirkungen wie Output, Transfer und Outcome unterschieden werden (Seeber, 2000).

Die Übergänge zwischen Evaluation und Bildungscontrolling sind fließend, da beide Begriffe unterschiedlich eng oder weit interpretiert werden können. Im engeren Sinne bezieht sich Evaluation eher auf die Beurteilung einzelner Bildungsmßnahmen, während Bildungscontrolling auf Ebene der Organisation die Gesamtheit aller Bildungsprozesse im Blick hat. Bei diesem Verständnis kann Evaluation dann ein Teilschritt oder Werkzeug des Bildungscontrolling sein. Viele Evaluationsansätze verstehen sich in ihrer Reichweite allerdings ähnlich umfassend als Steuerungsmodelle (z. B. CIPP), so dass Versuche eine Unter- oder Überordnung der beiden Konzepte letztlich Geschmackssache sind.

Der Begriff hat m.W. keine echte englische Entsprechung, die unten angegebenen engl. Synonyme sind also nur als Annäherung zu verstehen.

Synonyme: educational controlling, education controlling

Evaluation, die allein die Outcomes eines Programms untersucht, ohne vermittelnden Prozesse und Wirkmechanismen zu berücksichtigen.

Der despektierlich gemeinte Begriff wird von Seiten der theory-based evaluation als Kritik zur Abgrenzung des eigenen Ansatzes verwendet.

Als black-box Evaluationsmodell kann demnach die zielorientierte Evaluation, bzw. das experimentelle oder quasi-experimentelle Design gelten.

Synonyme: black-box-Evaluation

Im Kontext theoriebasierte Evaluation nach Chen (1991) jener Teil einer Programmtheorie, der die Aktivitäten (oder Prozessen) eines Programms mit seinen Outcomes und Impacts verbindet, also die Annahmen darüber enthält, welche konkreten Handlungsschritte zu welchen Wirkungen führen.

Beispiel: In der Programmtheorie eines Elterntrainings der University of Wisconsin zur Verbesserung familiärer Beziehung lauten die Annahmen des change models, dass die Teilnahme von Eltern der Zielgruppe an den Maßnahmen des Programms (targeted parents attend) dazu führt, dass eine Kette von Wirkungen in Gang gesetzt wird, die von einem verbesserten Verständnis kindlicher Entwicklung (parents increase knowledge of child development) bis hin zu einer Stärkung der Familien (strong families) reicht.

Chen bezeichnet das change model auch als kausative Theorie des Programms und analog das action model als normative Theorie.

Die Relevanz der Unterscheidung zwischen action model und change model bzw. zwischen noramtive theory und causative theory innerhalb einer Programmtheorie liegt vor allem darin, dass ein Scheitern des Programms i.S. ausbleibender Effekte sowohl an einem Versagen des action model als auch des change models liegen kann. Anders ausgedrückt: Ein Programm kann einerseits scheitern, weil die Annahmen über die Wirkungen der Maßnahme naiv oder falsch waren (Versagen des change models bzw. der causative theory), andererseits, weil es nicht gelungen ist, diese Maßnahmen in geplantem Ausmaß in Gang zu setzen (Versagen des action model bzw. der normative theory).

Synonyme: causative theory, Wirkungsmodell, change model, Kausative Theorie

Auf Daniel Stufflebeam zurückgehendes Evaluationsmodell bzw. Ordnungsschema, das in Anlehnung an allgemeinene Systemmodelle die vier Teilelemente context evaluation, input evaluation, process evaluation und product evaluation unterscheidet.

CIPP wurde Ende der 1960er entwickelt und kann als der verbreitetste Vertreter unter den management-orientierten Evaluationsansätzen gelten. Der Ansatz ist als umfassendes Rahmenmodell zur Steuerung der Evaluation unterschiedlichster Evaluationsgegenstände gedacht. Er soll also dabei helfen, alle relevanten Faktoren im Kontext des Evaluationsgegenstands bei der Evaluation zu berücksichtigen.

Kurzgefasst beschäftigen sich die vier Elemente einer CIPP-Evaluation mit den Fragen

1. Kontextevaluation: What needs to be done? (im Fokus: Bedarfslagen und Ziele)
2. Inputevaluation: How should it be done? (im Fokus: Pläne und Konzepte)
3. Prozessevaluation: Is it being done? (im Fokus: Handlungen und Aktivitäten)
4. Produktevaluation: Is it succeeding? (im Fokus: Effekte)

Hier wird also ein sehr umfassendes Evalautionsverständnis zugrunde gelegt, das ex-ante-, Prozess- und ex-post-Steuerung kombiniert. Programme sollen also nicht nur begleitend (Prozessevaluation) und retrospektiv (Produktevaluation) bewertet und verbessert werden. Vielmehr soll prospektiv bereits durch Kontextevaluationen der tatsächliche Bedarf in einer Problemsituation oder für eine Zielgruppe ermittelt werden, um die richtigen Ziele ableiten zu können. Mögliche Strategien und Pläne sollen dann durch Inputevaluation in Bezug auf ihre Durchführbarkeit und Erfolgsaussichten hin bewertet werden.

In älteren deutschsprachigen Texten findet sich teils das Akronym KIPP für Kontext - Input - Prozess - Produkt.

Synonyme: KIPP-Modell, KIPP, CIPP, CIPP-model

Evaluationsansatz für große und heterogene Programme, die aus vielen Einzelprojekten mit lokal unterschiedlichen Vorgehensweisen und Teil-Projektzielen bestehen.

Der Begriff wird teils rein deskriptiv verwendet und bezeichnet dann schlicht Evaluationen, die in einem heterogenen Programmsetting durchgeführt werden. Als präskriptiver Ansatz (Sanders, 1997) strebt Cluster-Evaluation auf der Grundlage naturalistischer Designs eine kontextsensible Rekonstruktion der Bedingungen an, unter denen die im Programm beobachteten Strategien erfolgreich oder nicht erfolgreich waren (Haubrich, 2004). Dabei greift der Ansatz verschiedene Prinzipien alternativer Evaluationsansätze auf.

Bekannt wurde der Ansatz vor allem durch die Förderung der W.K. Kellog Foundation .

Synonyme: cluster evaluation

Weiterführende Literatur

Die Sammlung und Interpretation von relevanten Daten für die Steuerung von Organisationen mit dem Ziel, die Planungs- und Steuerungsprozesse von Verfahren und Prozessen möglichst effektiv und effizient zu gestalten.

Der Begriff stammt aus der Betriebswirtschaft und bezeichnet eine Managementfunktion, deren Aufgabe die Koordination von Planungs-, Entscheidungs-, Durchsetzungs- und Kontrollprozessen eines Unternehmens ist (Gerlich, 1999; Pech, 2001). Controlling kann sich auf verschiedene Bereiche beziehen, wie etwa Kosten, Personal oder Bildung (Bildungscontrolling), und betrachtet diese als Steuerungssysteme, die mit Hilfe von Instrumenten wie Kennzahlensystemen, Betriebsrechnungen aber auch Evaluationen rational regelbar sind. Gegenüber ursprünglichen Controllingansätzen wird der Begriff heute nicht mehr primär nur auf monetäre Indikatoren bezogen.

Der Begriff ist in dieser Bedeutung eine deutsche Neuprägung und existiert so im Englischen nicht. Allerdings bezieht er sich auf die englische Semantik des Begriffs, eine adäquate Eindeutschung wäre also nicht "Kontrolle", sondern "Steuerung".

Im Gegensatz zum Monitoring hat das Controlling eine aktivere Rolle. Daten werden nicht nur gesammelt, sondern auch interpretiert und explizit für Steuerungsprozesse genutzt.

Von Michael Scriven (1974) geprägter Begriff, der ausdrücken soll, dass Evaluation kostenneutral sein sollte, indem ihr Nutzen größer ist als der für sie erforderliche Aufwand.

Der Begriff lädt zu Missverständnissen ein, da keineswegs gemeint ist, dass Evaluation kostenlos sein soll. Die Idee ist vielmehr, dass Evaluation etwa durch Vermeidung von Fehlentscheidungen oder durch Aufdecken von Verbesserungspotenzial hilft, Kosten einzusparen und sich somit selbst refinanziert. Eine passende Übersetzung wäre daher am ehesten kostenneutrale Evaluation.

Synonyme: kostenneutrale Evaluation

Berufs- und Interessensverband zum Austausch zwischen Personen und Institutionen, die mit Evaluation befasst oder an Fragen der Evaluation interessiert sind.

Die DeGEval wurde 1997 als "Deutsche Gesellschaft für Evaluation" gegründet, was als Zeichen einer zunehmenden Professionalisierung der Evaluation in Deutschland gedeutet werden kann. Ihr Mitteilungsorgan ist die Zeitschrift für Evaluation. Um der Tatsache Rechnung zu tragen, dass viele Mitglieder der DeGEval nicht aus Deutschland stammen, erfolgte 2005 die Umbenennung in "Gesellschaft für Evaluation".

Synonyme: Deutsche Gesellschaft für Evaluation, Gesellschaft für Evaluation, German evaluation society, DeGEval

Weiterführende Links

Variante der democratic Evaluation.

Evaluationsansatz, der normativ zur Demokratisierung von Entscheidungsprozessen beitragen will, präskriptiv demokratische Prinzipien bei der Umsetzung von Evaluationen fordert und dies deskriptiv mit der Analyse von Evaluation als Teil demokratischer Wandlungsprozesse begründet.

Aufgund der normativen Setzung der sekundären Evaluationszwecke Demokratisiserung und Evaluationstraining für Nicht-Evaluatoren und aufgrund der emanzipativen Rolle, die den Stakeholdern eingeräumt wird, kann democratic evaluation zur Gruppe alternative Evaluationsmodelle gerechnet werden.

Literatur: MacDonald (1987); Kushner (2000); House & Howe (2000); Patton (2002)

Synonyme: Demokratische Evaluation

Evaluation, die sich bezüglich des angestrebten Erkenntnisniveaus darauf beschränkt, den Evaluationsgegenstand und seinen Gegenstandsbereich möglichst vollständig zu erfassen und zu beschreiben.

Inwiefern ein rein deskriptives Vorgehen mit ihrer einfachen Form der empirischen Wissensgenerierung geeignet ist, tatsächlich zu einem fundierten Urteil über einen Evaluationsgegenstand zu gelangen, ist umstritten (z. B. Scriven, 1993; Stake, 1979).

Synonyme: beschreibende Evaluation

Von Patton (2011) publizierter Evaluationsansatz für besonders komplexe Kontexte und Gegenstände, bei dem die Evaluation eng mit Programmpersonal und Entscheidungsträgern bei der fortlaufenden Weiterentwicklung eines Programms kooperiert.

Im Gegensatz zur formativen Evaluation wird hier der Gegenstand als wesentlich beweglicher betrachtet: Es geht nicht um die zunehmende Verbesserung eines Programms im Hinblick auf ein theoretisches Optimum, das vor dem Hintergrund komplexitäts- und systemtheoretischer Überlegungen ohnehin als unrealistisch angesehen wird. Vielmehr soll ein Programm durch begleitende Kooperation und Beratung durch die Evaluation bei seiner fortwährenden Anpassung und Weiterentwicklung unterstützt werden.

Konkrete Anwendungen sind die fortlaufenden Entwicklung des Programmkonzepts, die lokale Adaption eines Programms, das Generieren und Umsetzen innovativer Ideen oder das Reagieren auf Problem- und Krisensituationen in einem Programm.

Deutsche Fassung einer Normenreihe der International Standards Organization, welche die Prozesse zur Qualitätsüberprüfung in einer Organisation erfassen und damit eine Zertifizierung von Qualitätsmanagementprozessen erlauben.

Die Normenreihe umfasst fünf Elemente:

1. DIN ISO 9000: allgemeiner Leitfaden zur Auswahl von 9001-9003
2. DIN ISO 9001: Qualitätssicherung der gesamten Produktion
3. DIN ISO 9002: Produktion, Montage und Kundendienst
4. DIN ISO 9003: Endprüfung von Produkten
5. DIN ISO 9004: Anwendung der Normen und Leitfaden zur Qualitätssicherung von Dienstleistungen

Besonders die DIN ISO 9004 ist seit Beginn der 1990er im Bildungsbereich und anderen Dienstleistungsbereichen als Qualitätsmanagementansatz zur Anwendung gekommen, steht dabei aber in Konkurrenz zu umfassenderen Ansätze wie TQM.

Synonyme: DIN ISO 9000ff., DIN ISO 9000-9004, DIN 9000, DIN 9000ff., DIN 9000-9004, ISO 9000, ISO 9000ff., ISO 9000-9004

Geplante Outcomes und/oder Impacts einer Maßnahme, die im Gegensatz zu proximalen Zielen erst nach einer gewissen Zeit erwartet werden.

Synonyme: distale Ziele

Teilaspekt eines Evaluationsgegenstands, der im Rahmen einer Evaluation untersucht werden kann. Rossi, Freeman & Lipsey (2004) unterscheiden fünf sachlogisch aufeinander aufbauende Domänen eines Programms, die je nach Evaluationsdesign Beachtung finden können: Bedarf, Design, Implementation, Wirkung und Effizienz.

Mit den fünf Teildomänen liegt ein hilfreiches Rahmengerüst zur Verortung vieler Teiltheorien bzw. Elemente von Theorien vor. Denn diese lassen sich klar auf einzelne der Domänen beziehen:

• Bedarf (Needs): Bedarfsanalyse, Kontextevaluation (CIPP)
• Design (Program Theory): Programmtheorie-Evaluation, Inputevaluation (CIPP), Evaluierbarkeitsanalyse (umfasst teilw. auch Bedarf)
• Implementation (Process): Prozessevaluation, Monitoring
• Wirkung (Impact): Black-box-Evaluation, Four-Levels, Produktevaluation (CIPP)
• Effizienz (Efficiency): Kosten-Nutzen-Analyse, Return on investment (ROI)

Synonyme: domain

Im Rahmen der Nutzungsforschung etablierter Begriff, der Veränderungen jeder Art umfasst, die durch eine Evaluation ausgelöst werden.

Kirkhart (2000) kritisiert, dass der konventionelle Begriff der Nutzung von Evaluationen eine vorwiegend instrumentelle Verwendung von Evaluationsergebnissen nahe legt. Sie schlägt daher vor, den engeren Begriff der Nutzung durch Einfluss (influence) zu ersetzen, um Wirkungen von Evaluationen umfassender zu betrachteten.

Sie unterscheidet drei Dimensionen von Einfluss:

1. Quelle: Welches Element einer Evaluation löst Veränderungen aus?
   • ergebnisbasierter Einfluss durch Evaluationsberichte etc.
   • prozessbasierter Einfluss alleine durch die Präsenz und Durchführung einer Evaluation
2. Intention: Ist der Einfluss intendiert oder unbeabsichtigt?
   • intendiert: i.S. von Pattons "intended use by intended users"
   • nicht intendiert: nicht vorhergesehene und nicht geplante Einflüsse
3. Zeitpunkt: Wann tritt der Einfluss auf?
   • unmittelbar: während der Evaluation
   • am Ende eines Zyklus: mit Abschluss der Evaluation
   • langfristig: mit Verzögerung nach Abschluss der Evaluation

Synonyme: influence

Teil der Berichterstattung einer Evaluation, in dem ausgehend von den Evaluationsergebnissen konkrete Handlungsalternativen nahegelegt werden.

Während Empfehlungen von Auftraggeber- bzw. Entscheiderseite meist gewünscht und von den meisten Evaluatoren als Selbstverständlichkeit erachtet werden, sprechen sich Evaluationstheoretiker wie Michael Scriven eher dagegen aus. Hauptargument ist das Plädoyer für eine klare Rollenteilung: Sache der Evaluatoren ist das Bewerten, Konsequenzen aus den Ergebnissen dieser Bewertung sind aber Sache der Verantwortlichen im Feld, die auch gewöhnlich viel besser wüssten, was angemessen und umsetzbar ist.

Synonyme: recommendations

Auf David Fetterman zurückgehender Evaluationsansatz, bei dem die Praktiker die Evaluation selbstverantwortlich durchführen und steuern, während das Evaluationsteam nur beratende Funktionen ausfüllt.

Der Ansatz ist explizit normativ-ideologisch ausgerichtet und versucht, das natürliche Machtgefälle zwischen Evaluatoren und Praktikern aufzuheben, indem letztere "empowered" werden. Damit steht er deutlich in der Tradition der Handlungsforschung der 1970er Jahre. In der Umsetzung zeigt er deutliche Parallelen zu vielen Ansätzen der Selbstevaluation.

Beabsichtigte Nutzer von Evaluationsergebnissen; jene Personen und Institutionen, welche die intendierte Zielgruppe(n) der Berichterstattung der Evaluation sind und auf Basis der Ergebnisse Entscheidungen über Verbesserungsmaßnahmen, die Anwendung bzw. Einführung, Fortführung oder Einstellung des Evaluationsgegenstands treffen.

Entscheider im klassischen Sinne spielen vor allem im Kontext summative Evaluation und managementorientierte Evaluation eine wichtige Rolle.

Synonyme: decision maker

Weiterführende Texte

Ergebnisse einer Evaluationsstudie, also die methodisch begründbare Beantwortung der Fragestellungen der Evaluation und weitere Erkenntnisse, niedergelegt in der Berichterstattung.

In einem weiteren Sinne können als Ergebnisse von Evaluation auch jede Art von Konsequenzen gelten, welche durch den Evaluationsprozess oder durch die Evaluationsergebnisse (im engeren Sinne) ausgelöst oder ermöglicht werden, inklusive der Erreichung der Evaluationszwecke.

Beispiel: Ein Evaluationsergebnis im engeren Sinne wäre die Erkenntnis, dass eine neue Lernmethode unwirksam ist. Ein Evaluationsergebnis im weiteren Sinne wäre es, wenn die Lernmethode in Folge dieser Erkenntnis nicht mehr angewendet wird.

Synonyme: evaluation result, Ergebnisse der Evaluation, Ergebnis der Evaluation, Ergebnis einer Evaluation, Evaluationsergebnis

Epistemischer Gehalt des Wissens, das in einer Evaluation erzeugt wird oder werden soll.

Im Prinzip gelten bei Evaluationen die gleichen Ebenen des Erkenntnisgewinns wie bei der allgemeinen empirischen Forschung (Bortz & Döring, 2002; Tukey, 1977). Entsprechend werden unter Bezug auf das angestrebte Evaluationsniveau gelegentlich die folgenden Typen von Evaluation unterschieden:

1. Deskriptive Evaluation
2. Explorative Evaluation
3. Konfirmatorische Evaluation
4. Generalisierende Evaluation

Urheber eines der bekanntesten Total Quality Management-Ansätze.

Der EFQM-Ansatz beschreibt einen kontinuierlichen Verbesserungsprozess, der die folgenden Schritte umfasst (Franz, 1999):

1. Selbstbewertung durch eine Stärken- und Schwächenanalyse anhand eines Fragenkatalogs
2. Finden von Verbesserungsmöglichkeiten
3. Umsetzung je nach Prioritäten der Organisation

Eine Adaption im Kontext der gymnasialen Schulentwicklung beschreiben Kotter und Thum (2002). Dubs (1998) hat die Kategorien, aus deren Bewertung die Gesamtqualität einer Organisation ermittelt wird, auf den schulischen Bereich übertragen:

• Prozessbezogene Kategorien
  • Schulleitung (Gewichtung: 10%)
  • Führung der Mitarbeiter (9%)
  • Schulpolitik (8%)
  • Ressourceneinsatz (9%)
  • Prozesse (14%)
• Ergebnisbezogene Kategorien
  • Mitarbeiterzufriedenheit (9%)
  • Kundenzufriedenheit (20%)
  • Gesellschaftliche Auswirkungen (6%)
  • Produkte (15%)

Synonyme: EFQM

Von Micheal Scriven (1980) geprägter Begriff zur Bezeichnung des Gegenstands einer Evaluation (s. Evaluationsgegenstand).

Scriven führte den Begriff in "The logic of evaluation" mit folgender Definition ein: "whatever is being or has been evaluated in the evaluation under consideration" (1980, p. 6).

Die systematische Untersuchung von Güte oder Nutzen eines Gegenstands (Joint committee on standards for educational evaluation, 1994) bzw. das Ergebnis einer solchen Untersuchung.

Alternative Definitionen:

1. Bewertung.
2. Die Anwendung sozialwissenschaftlicher Forschungsmethoden und spezifischer Evaluationskompetenzen zur Bewertung der Güte und/oder dem Nutzen von Projekten, Programmen, Maßnahmen, Produkten, Personal, Organisationen, Dienstleistungen und anderen Evaluationsgegenständen mit dem Ziel, die Handlungssteuerung in sozialen Handlungsfeldern zu rationalisieren, indem Erkenntnisse zur Verfügung gestellt werden, welche zur Optimierung, Entscheidungshilfe, Überzeugung, Rechenschaftslegung und/oder der Wissensvermehrung dienen können. Zugleich meint Evaluation auch die Ergebnisse dieser Prozesse in Form von Evaluationsberichten. (Definition JH)
3. "The process of determining the merit, worth, or significance of things." (Scriven, 1996, p. 158)
4. "Program evaluation is the use of social research methods to systematically investigate the effectiveness of social intervention programs in ways that are adapted to their political and organizational environments and are designed to inform social action to improve social conditions." (Rossi, Lipsey & Freeman, 1994, S. 16)
5. Evaluation ist die systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung des Konzepts, des Designs, der Umsetzung und des Nutzens sozialer Interventionsprogramme. (Wottawa, 2001, S. 650)
6. [The] Activity of systematically collecting, analyzing, and reporting information that can then be used to change attitudes or to improve the operation of a project or program. (Alkin, 1985, S. 11-12)

Das übergeordnete Ziel bzw. die soziale Funktion von Evaluation ist es, einen Beitrag zur Rationalisierung der Handlungssteuerung in sozialen Handlungsfeldern zu leisten. Mit Evaluation wird nicht nur der beschriebe Prozess bezeichnet, sondern auch die Produkte dieses Prozesses (z. B. Berichte).

Der Begriff stammt nicht direkt aus dem Lateinischen, sondern ist von engl./frz. "Bewertung" abgeleitet (vgl. Karbach, 2000). Er wird häufig mehr oder weniger synonym zum Begriff der Evaluationsforschung (Variante b) verwendet.

Synonyme: Evaluierung

Weiterführende Texte

Fähigkeit zur effektiven und routinemäßigen Durchführung und Nutzung von Evaluationen, üblicherweise bezogen auf die Ebene von Organisationen.

Konzeptionell umfasst der Begriff sowohl die erforderlichen fachlichen Kompetenzen, die in einer Organisation vorhanden sein müssen, um evaluationsbasiert arbeiten zu können, als auch die notwendigen Ressourcen, Strukturen und strategischen Ausrichtungen.

Der Begriff erfreut sich in den vergangenen Jahren wachsender Beliebtheit in der nordamerikanischen Literatur. Er wird üblicherweise im Zusammenhang mit der Vision einer dauerhaften Verankerung und Implementierung von Evaluationen in Organisationen im Sinne einer "Evaluationskultur" gesehen und steht damit im Kontext des "mainstreaming evaluation" Gedankens.

Synonyme: Evaluationskapazität

Gezielte Maßnahmen zum Aufbau bzw. zur Weiterentwicklung von Evaluation Capacity in einer Organisation.

Preskill & Boyle (2008) nennen 10 mögliche Strategien zum Evaluation Capacity Building (ECB), die sich interessanterweise größtenteils auf die individuelle Ebene beziehen.

1. Praktika in Institutionen, die Evaluation durchführen
2. Schriftliche Selbstlernmaterialien
3. Digitale Selbstlernmaterialien wie Webseiten und E-Learning Angebote
4. Besprechungen, in denen explizit Evaluationsaktivitäten thematisiert werden, um aus ihnen zu lernen
5. Appreciative inquiry
6. Communities of practice
7. Training im Rahmen von Kursen, Workshops oder Seminaren
8. Aktive Teilnahme bei der Planung oder Umsetzung einer realen Evaluation
9. Fachliche Unterstützung durch interne oder externe Evaluationsexperten
10. Individuelles Coaching oder Mentoring durch erfahrene Evaluationsexperten

Teils wird der ansonsten aber synonym gemeinte Begriff Evaluation Capacity Development bevorzugt, um dem Gedanken Rechnung zu tragen, dass kaum eine Organisation bei Null Evaluationskapazität beginnt.

Synonyme: Evaluation Capacity Development

Vorläuferorganisation der American Evaluation Association (AEA)

Synonyme: Evaluation Network, ENet

Vorläuferorganisation der American Evaluation Association (AEA)

Synonyme: Evaluation Research Society

Eine von Marvin Alkin (2004) eingeführte genealogische Taxonomie von Evaluationsansätzen bzw. der sie vertretenden Theoretiker in die drei Hauptzweige Use, Methods und Valuing.

Alkin charakterisiert die drei Zweige folgendermaßen:

• Use: Vertetern dieses Zweigs ist das Hauptanliegen gemeinsam, ob, wie und durch wen Evaluation genutzt wird (s. Nutzung von Evaluationsergebnissen). Wichtige Vertreter sind u.a. Stufflebeam, Wholey, Patton, Alkin, King, Cousins und Fetterman
• Methods: Dieser Zweig vereinigt Autoren in der Sozialforschungstradition, für die Methodisches im Vordergrund steht, vor allem unter Bezug auf Fragen der Generalisierbarkeit und Wissensakkumulation. Vertreter sind u.a. Tyler, Suchman, Campbell, Cook, Rossi, Chen, Weiss und Cronbach.
• Valuing: Hier finden sich Autoren, die als wichtigstes Anliegen von Evaluation das Werten i.e.S. sehen, also die Frage, wie man von Daten zu einem Werturteil gelangt. Vertreter sind nach Alkin u.a. Scriven, Stake, House oder Guba & Lincoln.

Befürchtungen und damit einhergehende Widerstände von Praktikern, Evaluierten oder sonstigen Betroffenen und Beteiligten gegen eine Evaluation.

Negative Auswirkungen für die Durchführung einer Evaluation können sein:

• mangelnde Kooperation der Stakeholder
• fehlender Zugang zu Informationen
• falsche oder geschönte Informationen
• mangelnde Validität der Ergebnisse
• reduzierte Verwendbarkeit und Nutzung der Evaluationsergebnisse

Ursachen für solche Ängste sind nach Donaldson, Gooler & Scriven (2002):

• Dispositional sources
  • Lack of experience with program evaluation
  • Negative past experiences with program evaluation
  • Excessive ego involvement with program model
  • Excessive fear of negative consequences
• Situational sources
  • Failure to highlight program accomplishments
  • Social norms
  • Role ambiguity
• Interaction of dispositional sources × situational sources

Verschiedene Evaluationsansätze versuchen solche Ängste zu reduzieren, etwa indem sie die Betroffenen am Evaluationsprozess beteiligen (Partizipative Evaluation), deren Bedürfnisse aktiv in den Vordergrund rücken (Responsive Evaluation) oder die Verantwortung für die Evaluation mit in deren Hände legen (Selbstevaluation, Empowerment Evaluation). Allgemein ist hier die Evaluationskompetenz des Evaluationsteams gefragt.

Synonyme: evaluation anxiety

Weiterführende Links

Schriftliche Berichterstattung über die Ergebnisse einer Evaluationsstudie.

Typische Elemente eines schriftlichen Evaluationsberichts sind (orientiert an Fitzpatrick, Worthen & Sanders, 2004):

1. Executive Summary
2. Einleitung
   • Evaluationszwecke
   • Adressaten des Berichts
   • Reichweite und Grenzen der Evaluation
   • Überblick über den Bericht
3. Fokus der Evaluation
   • Beschreibung des Evaluationsgegenstands
   • Fragestellungen und Ziele der Evaluation
   • Herangezogene Informationsquellen
4. Evaluationsplan, Evaluationsdesign und Vorgehen (Methode)
5. Ergebnisse (gegliedert nach den Fragestellungen der Evaluation)
   • Zusammenfassung der Befunde
   • Interpretation der Befunde
6. Schlussfolgerungen und Empfehlungen
   • Kriterien und Standards, die zur Beurteilung herangezogen wurden
   • Stärken- und Schwächen des Evaluationsgegenstands
   • Empfehlungen
7. Minderheiten- und abweichende Stellungnahmen
8. Anhang
   • Instrumente zur Datenerhebung, Datenanalyse und Intepretation
   • Detaillierte tabellarische quantitative Ergebnisse und Transkriptionen oder Zusammenfassungen qualitativer Daten
   • Weitere Informationen

Synonyme: Bericht, evaluation report, report

Wann und wie von wem welche Daten erhoben und ausgewertet werden. Wird üblicherweise in der Planungsphase einer Evaluation vom Evaluationsteam als Teil des Evaluationskonzepts erstellt.

Das Evaluationsdesign enthält Angaben dazu,

• zu welchen Zeitpunkten Datenerhebungen stattfinden,
• welche Art von Daten jeweils erhoben werden,
• mit welchen Instrumenten diese Daten erhoben werden,
• wo bzw. bei wem diese Daten erhoben werden.

Das Evaluationsdesign wird gewöhnlich von Erkenntnisniveau und Fragestellungen der Evaluation sowie forschungsmethodologischen Überlegungen bestimmt. Seine Realisierung unterliegt meist stärker als bei der Grundlagenforschung Restriktionen in den Rahmenbedingungen.

Die theoriebasierte Evaluation verwendet ein logisches Modell des untersuchten Evaluationsgegenstands als Orientierung bei der Konzeption des Evaluationsdesigns. Die responsive Evaluation lehnt von vorne herein feststehende Evaluationsdesigns ab und verlangt, diese im Evaluationsverlauf den sich jeweils neu ergebenden Bedingungen und Bedürfnissen anzupassen.

Varianten: In einem engeren Sinne wird Evaluationsdesign synonym mit dem Begriff Forschungsdesign verwendet. Die wichtigsten Designs i.d.S. sind nach Fitzpatrick, Worthen und Sanders (2004, Ch. 14):

• Fallstudien
• Experimentelle Designs
  • nur Post-Test
  • Prä-Post-Test
• Quasi-experimentelle Designs
  • interrupted time-series
  • nonequivalent comparison group design
  • regression discontinuity design
• Deskriptive Designs
  • querschnittlich
  • längsschnittlich

Synonyme: evaluation design, Forschungsdesign, research design, design of the evaluation

Weiterführende Literatur

(a) Die theoretische und empirische Forschung über Bedingungen, Praxis und Wirkungen von Evaluation. (b) Explizit wissenschaftlich orientierte Evaluation.

Ziele und Varianten der Evaluationsforschung (a) sind

1. Bedingungen, Praxis und Wirkungen von Evaluation zu beschreiben (deskriptive Evaluationsforschung),
2. Bedingungen, Praxis und Wirkungen von Evaluation zu erklären und vorherzusagen (explanative Evaluationsforschung),
3. Handlungsanweisungen für die Durchführung von Evaluationen in unterschiedlichen Kontexten und Voraussetzungen zu geben (präskriptive Evaluationsforschung) und
4. ethische und philosophische Grundfragen der Evaluation zu klären (normative Evaluationsforschung).

Mögliche Fragestellungen, die in den Bereich der Evaluationsforschung fallen, sind (am Beispiel der möglichen Forschungsgegenstände Evaluationsangst und Evaluationsnutzung):

1. Welche Rolle spielt Evaluationsangst in verschiedenen Evaluationskontexten? Wie werden Evaluationsergebnisse in der Praxis genutzt? (deskriptive E.)
2. Was sind Gründe für Evaluationsangst und welche Folgen hat sie? Wann und warum werden Evaluationsergebnisse (nicht) genutzt? (explanative E.)
3. Welcher Evaluationsansatz ist am besten geeignet um Evaluationsangst vorzubeugen? Wie sollten Evaluationsteams vorgehen, um die Nutzung von Evaluationsergebnissen zu maximieren? (präskriptive E.)
4. Darf man Evaluationsangst in Kauf nehmen, um die Ziele einer Evaluation zu erreichen, und wenn ja, in welchem Maße? Soll es überhaupt Aufgabe einer Evaluation sein, sich um die Nutzung ihrer Ergebnisse zu kümmern? (normative E.)

Varianten: (b) Der Begriff wird oft auch mehr oder weniger synonym mit Evaluation selbst verwendet, wobei eine Betonung auf der wissenschaftlichen Vorgehensweise liegt. Auch im Englischen verwenden einige Evaluationskoryphäen wie etwa Weiss (1997) oder Legge (1984) den Begriff evaluation research für wissenschaftlich vorgehende Evaluation, in Abgrenzung zur evaluation als alltäglicher Urteilsbildung.

Kommentar: Vor allem die Analogie zu anderen Komposita wie etwa Genforschung (Forschung über Gene) oder Sozialforschung (Forschung über Soziales) machen deutlich, warum Kritiker dieser Begriffsverwendung die Variante (a) präferieren. Auf evoluation.de verwende ich gewöhnlich auch die Variante (a).

Evaluationsforschung ist nicht zu verwechseln mit dem Begriff der Metaevaluation.

Synonyme: evaluation resarch

Weiterführende Literatur, Weiterführende Links, Weiterführende Texte

Das, was in einer Evaluation untersucht und bewertet wird, bzw. dessen Güte oder Nutzen bestimmt wird.

Die wichtigsten möglichen Evaluationsgegenstände sind

• Programme bzw. Projekte
• Produkte,
• Personal,
• Politische Strategien (z. B. Umweltpolitik),
• Institutionen bzw. Organisationseinheiten (z. B. Hochschulevaluation),
• Pläne und Anträge (z. B. DFG) und
• Evaluationen selbst (Metaevaluation).

Evaluationsgegenstände (außer Personal) werden gewöhnlich durch bestimmte Personen oder Institutionen (Praktiker) und für bestimmte Zielgruppen erstellt oder durchgeführt.

Üblicherweise wird der Begriff Evaluation nur für klar abgrenzbare, spezifische Gegenstände verwendet, was sich aus den Funktionen von Evaluation erklären lässt. Ist der Gegenstand eher unspezifisch, global und/oder umfasst ein ganzes System (z.B. PISA-Studie), spricht man eher von Monitoring.

Michael Scriven hat die Neuschöpfung "Evaluand" als Fachbegriff für Evaluationsgegenstände aller Art vorgeschlagen.

Synonyme: Evaluationsgegenstände, Evaluationsobjekt

Kompetenzen, die ein Evaluationsteam benötigt, um eine Evaluation erfolgreich durchführen zu können. Evaluationskompetenzen werden insbesondere in Folge der Professionalisierung von Evaluation und im Kontext Metaevaluation und Evaluationsstandards diskutiert.

Verschiedene Institutionen und Organisationen versuchen, einen Kanon an notwendigen Kompetenzen zu erstellen. Der Arbeitskreis Aus- und Weiterbildung in der Evaluation der DeGEval etwa benennt die folgenden fünf Kompetenzfelder:

1. Theorie und Geschichte der Evaluation
2. Methodenkompetenz
3. Organisations- und Feldkenntnisse
4. Sozial- und Selbstkompetenzen
5. Praxis der Evaluation

Neben solchen eher normativ-deduktiven Ansätzen wird auch versucht, empirisch Evaluationskompetenzen zu erheben (z.B. King et al., 2001)

Synonyme: evaluation competency, evaluation competencies

Planungs- und Verständigungsinstrument, das ausgehend von einer Analyse des Evaluationsgegenstands Angaben zur Durchführung der Evaluation enthält und üblicherweise während oder nach der Akquise eines Evaluationsprojekts durch das Evaluationsteam erstellt wird.

Wichtige Angaben und eine mögliche Gliederung für Evaluationskonzepte sind:

• Zusammenfassung / Executive Summary

1. Ausgangslage und Zielsetzung
   1. Evaluationsgegenstand
   2. Ziele der Evaluation
   3. Rahmenbedingungen und Reichweite der Evaluation
   4. Verwendung der Evaluationsergebnisse
2. Evaluationsdesign
   1. Fragestellungen
   2. Theoretischer Hintergrund
   3. Untersuchungsplan
3. Zeit-, Arbeits- und Budgetplan

Weitere mögliche oder häufige Punkte eines Evaluationskonzepts sind je nach Rahmenbedingungen und dem vom Evaluationsteam vertretenem Evaluationsansatz:

• Evaluationsteam (Qualifikationen und Arbeitsteilung)
• Evaluationsmodell, das als Basis der Arbeit dient
• Evaluationsnutzung/Valorisierung
• Literatur

Synonyme: evaluation concept

Zusammenfassung deskriptiver, präskriptiver und/oder normativer Annahmen zu Bedingungen, Wirkungen und/oder Umsetzungsvarianten von Evaluation, die optimalerweise auf theoretischen und empirischen Ergebnissen der Evaluationsforschung basieren.

Häufig genannte Evaluationsmodelle sind:

• Theoriebasierte Evaluation
• Nutzungsfokussierte Evaluation
• CIPP-Modell der Evaluation
• Goal Free Evaluation
• Formative Evaluation/summative Evaluation
• Responsive Evaluation
• Partizipative Evaluation
• Empowerment Evaluation
• Fourth Generation Evaluation
• Realistic Evaluation
• Zielfreie Evaluation

In der Evaluationsforschung (inklusive unter den meisten Vertreter/innen der genannten Ansätze) ist man sich relativ einig, dass derzeit noch kein Evaluationsmodell vorliegt, das den Status einer umfassenden Evaluationstheorie erreicht (vgl. Shadish, Cook & Leviton, 1991; Alkin, 2004). Nach Alkin (2004a) ist es vor allem das Fehlen einer empirischen Fundierung und prädiktiver Elemente, das den Unterschied zu echten Theorien ausmacht.

Auch ist die Reichweite der Ansätze sehr unterschiedlich. So kann ein Ansatz etwa detailliert das Problem der Evaluationsnutzung behandeln, methodische Fragen der Datengewinnung aber weitgehend aussparen. Auch daran wird deutlich, dass es sich derzeit eher um Theoriefragmente handelt. Für die Praxis wird häufig ein eklektizistisches Vorgehen empfohlen: Je nach Ausgangslage und Evaluatonszwecken werden Elemente aus verschiedenen Ansätzen entlehnt, um der Situation angemessen gerecht zu werden.

Es liegt eine ganze Reihe von Versuchen vor, die vorliegende Heterogenität der unterschiedlichen Evaluationsansätze in einer Taxonomie zu systematisieren. Ein Beispiel ist die Einteilung von Worthen & Sanders (s. management-orientierte Evaluation")

Inkorrekterweise wird zu den Evaluationsmodellen häufig auch Kirkpatricks sogenanntes Vier-Ebenen-Modell gerechnet.

Synonyme: Evaluationsansätze, Evaluationsansatz, evaluation model

Weiterführende Literatur, Weiterführende Texte

Empirische Studie, mit der evaluationsrelevante Daten erhoben und analysiert werden.

Eine Evaluationsstudie ist im Normalfall nicht mit der Evaluation selbst gleichzusetzen. Evaluation basiert zwar auf einer oder mehreren Studie(n), umfasst aber in ihrer konkreten Durchführung darüber hinaus etwa auch die Ver- bzw. Aushandlung von Zielsetzungen, Fragestellungen und Rahmenbedingungen der Evaluation sowie die Berichtlegung von Ergebnissen und ggf. das Ableiten von Empfehlungen und Beratung bei deren Umsetzung.

Synonyme: evaluation study

Weiterführende Literatur

"A coherent set of conceptual, hypothetical, pragmatic, and ethical principles forming a general framework to guide the study and practice of evaluation." (Stufflebeam, 2004, p. 245).

In der Evaluationsforschung sind die meisten Autor/innen sich einig, dass bis heute keine ausgereifte Evaluationstheorie auf dem Markt ist, die umfassend genug ist, um wirklich die Bezeichnung Theorie zu verdienen. Daher wird meist Evaluationsmodell oder Evaluationsansatz bevorzugt.

Einen detaillierten Forderungskatalog für eine ideale Evaluationstheorie haben Shadish, Cook & Leviton (1991) vorgelegt: "The ideal (never achievable) evaluation theory would describe and justify why certain evaluation practices lead to particular kinds of results across situations that evaluators confront. It would (a) clarify the activities, processes, and goals of evaluation; (b) explicate relationships among evaluative activities and the processes and goals they facilitate; and (c) empirically test propositions to identify and address those that conflict with research or other critically appraised knowledge about evaluation" (S. 30-31).

Kommentar: Vergleicht man den Forderungskatalog von Shadish et al. (1991) mit den üblichen Evaluationsmodellen, so wird deutlich, dass diese in der Regel erhebliche Leerstellen aufweisen. Zwar werden meist starke normative und präskriptive Aussagen getroffen (wie sollte man evaluieren?), deskriptive und explanative Aspekte sind aber demgegenüber meist deutlich unterenwickelt.

Synonyme: evaluation theory

Funktionen und Ziele, die mit einer Evaluation erfüllt werden (sollen).

Die vielen in der Literatur diskutierten Evaluationszwecke lassen sich vier Primärfunktionen von Evauation zuordnen (Hense, 2006; Hense & Mandl, 2003):

1. Entscheidungshilfe in Bezug auf die Einführung/Anwendung, Fortführung oder Einstellung des Evaluationsgegenstands
2. Verbesserung von Design oder Implementation des Evaluationsgegenstands
3. Legitimation (aus Sicht der Programmverantwortlichen) bzw. Kontrolle (aus Sicht der Auftraggeber)
4. Lernen/Verbreiterung der Wissensbasis

Die aus der Praxis heraus motivierte Zweckgebundenheit von Evaluation ist eines ihrer unterscheidenden Merkmale zur Grundlagenforschung. Eine Evalation kann mehrere Ziele gleichzeitig verfolgen. Oft haben jedoch verschiedene Akteure divergierende Prioritäten in Bezug auf die Evaluationszwecke.

Die Evaluationszwecke einer konkreten Evaluation beeinflussen gewöhnlich in starkem Maße das Evaluationsdesign und die Wahl des Evaluationsansatzes, der verwendet wird. Daher lässt sich argumentieren, dass die klare Festlegung oder Aushandlung der Ziele einer Evaluation eine wichtige Voraussetzung für ihr Gelingen ist.

Neben den genannten Evaluationszwecken, verfolgen v.a. alternative Evaluationsansätze explizit weitere Ziele, die im engeren Sinne nichts mit Evaluation zu tun haben. Zu diesen sekundären Evaluationszwecken gehören etwa

• Förderung der Selbstbestimmung und Verantwortlichkeit von Beteiligten und Betroffenen
• Fortbildung von Beteiligten und Betroffenen
• Ausgleich von Machtgefällen

Kennzeichnend für sekundäre Evaluationsfunktionen ist, dass es zu ihnen funktionale Äquivalente gibt, dass sie also auch durch andere Maßnahmen als Evaluation verfolgt werden können (Hense, 2006; Hense & Mandl, 2003).

Die DeGEval empfiehlt, den Begriff Evaluationszweck statt Evaluationsziel zu verwenden, um Verwechslungen mit den Zielen des Evaluationsgegenstands zu vermeiden.

Kommentar: Irrtümlicherweise wird oft auch Bewertung als ein mögliches Evaluationsziel genannt, was aber tautologisch ist, da Evaluation per Definition Bewertung ist.

Synonyme: evaluation goal, evaluation purpose, Evaluationsfunktion, Funktionen einer Evaluation, Funktion einer Evaluation, Funktion der Evaluation, Zwecke der Evaluation, Zwecke einer Evaluation, Zweck einer Evaluation, Zweck der Evaluation, Evaluationsziel, Ziele einer Evaluation, Ziele der Evaluation, Ziel einer Evaluation, Ziel der Evaluation, Funktionen der Evaluation, purpose of Evaluation, purposes of Evaluation

Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind.

Außer im Falle einer Selbstevaluation wird das Evaluationsteam von einem Auftraggeber beauftragt. Als notwendige Qualifikation sollten Evaluationsteams über hinreichende Evaluationskompetenzen verfügen, die etwa im Rahmen von Aus- und Fortbildungen erworben werden können.

Synonyme: Evaluationsteam, evaluation team, evaluation researcher, Evaluierende

Weiterführende Texte

Eignung eines potentiellen Evaluationsgegenstands für eine Evaluation.

Evaluierbarkeit wurde von Wholey (1979) in die Diskussion eingeführt und im Konzept der Evaluierbarkeitsanalyse operationalisiert. Demnach müssen folgende Standards erfüllt sein, damit es Sinn macht, ein Programm zu evaluieren:

1. Die Ziele des Programms sind so definiert, dass sie sich in Form von messbaren Leistungsindikatoren mit vernünftigem Aufwand erfassen lassen.
2. Die (theoretischen und pragmatischen) Annahmen und Ziele des Programms sind plausibel, d.h. es gibt Grund zur Annahmen, dass das Programm zur Zielerreichung in erwarteten Sinne beiträgt.
3. Die voraussichtliche Nutzung der Evaluationsergebnisse durch Programmverantwortliche ist festgelegt.

Der zweite Punkt verweist auf Wholeys Rolle als Pionier der Verwendung logischer Modelle (logic models) in der Evaluation.

Synonyme: evaluability

Weiterführende Texte

Überprüfung der Evaluierbarkeit eines Programms durch Evaluierende im Vorfeld einer Evaluation.

Nach Wholey (1979) umfasst eine Evaluierbarkeitsanalyse acht Schritte:

1. Bestimmung des zu evaluierenden Programms bzw. der zu evaluierenden Teilkomponenten
2. Sammlung von Informationen über das konzipierte Programm (v.a. Ziele, Erwartungen und Wirkannahmen von Programmmanagement, -entwicklern und anderen Stakeholdern in Bezug auf das Programm)
3. Zusammenfassung dieser Informationen in Form eines logischen Modells (logic model) des konzipierten Programms
4. Analyse für welche Elemente des logischen Modells konsensfähige Indikatoren vorliegen
5. Sammlung von Informationen über das tatsächlich umgesetzte Programm (vgl. Schritt 2)
6. Zusammenfassung dieser Informationen in Form eines logischen Modells (logic model) des tatsächlich umgesetzten Programms
7. Identifizieren von Evaluationsoptionen (v.a. welche Programmbestandteile sich für eine Evaluation eignen, wie Evaluationsergebnisse verwendet werden können und wie sie zur Verbesserung beitragen können)
8. Rückkoppelung an das Management zur Entscheidung über Evaluationsoptionen

Historisch begründet Wholey die Notwendigkeit von Evaluierbarkeitsanalysen aus der Feststellung dass viele Evaluationen dieser Zeit (1970er) daran gescheitert seien, dass ihre Gegenstände zu wenig ausdefiniert gewesen seinen, um zu begründeten Schlussfolgerungen über ihre Güte oder ihren Nutzen zu gelangen. Aus heutiger Perspektive ergibt sich hier insofern ein verändertes Bild, da verschiedene Evaluationsansätze explizit für die Evaluation von heterogen strukturierten Programmen (z.B. Cluster-Evaluation) oder noch in Entwicklung befindlichen Programmen (z.B. Developmental Evaluation) konzipiert wurden, die eine klassische Evaluierbarkeitsanalyse vermutlich nicht bestehen würden.

Synonyme: evaluability analysis

Evaluation, bei der bereits vor Durchführung einer Maßnahme eine Abschätzung ihrer Bedarfsangemessenheit, ihrer konzeptionellen Realisierbarkeit und der zu erwartenden Erfolgsaussichten und Folgen vorgenommen wird.

Konzeptionell zeigen ex-ante Evaluationen Ähnlichkeiten mit der Evaluierbarkeitsanalyse von Wholey oder der Input-Evaluation sensu Stufflebeam.

Synonyme: Ex ante Evaluation

Evaluation, bei der nach Beendigung einer Maßnahme deren Zielerreichung, Erfolge und sonstige Wirkungen überprüft werden.

Konzeptionell entspricht die ex-post Evaluation der Produktevaluation sensu Stufflebeam oder einer gewöhnlichen Outcome- bzw. Impact-Evaluation.

Synonyme: Ex post Evaluation

Evaluation, die sich vor allem auf die Expertise von Experten stützt, um einen Evaluationsgegenstand zu beurteilen.

Der Begriff geht auf eine Einteilung von Worthen & Sanders zurück (s. management-orientierte Evaluation).

Synonyme: expertise-oriented evaluation, expertisen-orientierten Evaluation, Expertise-orientierte Evaluation, experten-orientierten Evaluation, expertenorientierte Evaluation

Evaluation, die in Bezug auf das angestrebte Erkenntnisniveau das Entdecken neuartiger Phänomene anstrebt, auf deren Basis neue Hypothesen aufgestellt und Theorien entwickelt werden sollen.

Evaluation, bei der das Evaluationsteam nicht zu jener Organisation gehört, die den Evaluationsgegenstand durchführt oder zu verantworten hat. Eine externe Evaluation ist immer eine Fremdevaluation.

Externe Evaluation ist sozusagen die klassische Konstellation der Evaluation. In vielen Kontexten ist daher externe Evaluation gemeint, wenn nur einfach von Evaluation gesprochen wird.

Synonyme: external evaluation

Verallgemeinerbarkeit von Ergebnissen einer Evaluation über den Kontext des Evaluationsgegenstands hinaus.

Vor allem Cronbach et al. (1980) haben darauf hingewiesen, dass die praktische Relevanz der externen Validität in konkreten Evaluationsvorhaben gewöhnlich wesentlich höher ist als die der internen Validität. So sei es für praktische Zwecke oft viel wichtiger zu erfahren, ob etwa die Erkenntnisse über ein bestimmtes Trainingsprogramm auch bei dessen Implementation und Transfer in andere Kontexte zu erwarten sind, als letzte Gewissheit über dessen genauen Effekte zu gewinnen. Auf Basis dieser Überlegungen legte Cronbach (1982) sein UTOS-Modell zur Analyse der Generalisierbarkeit von Evaluationsergebnissen vor.

Synonyme: external validity, externen Validität

Evaluation, die den Evaluationszweck verfolgt, zur Optimierung eines Evaluationsgegenstands beizutragen. Oft auch: Begleitende Evaluation während einer Maßnahme.

Das Begriffspaar formativ/summativ geht auf Scriven (1967) zurück, wobei die konzeptionelle Idee, Evaluationen mit dem Ziel der Verbesserung einzusetzen, bereits früher von Cronbach (1963) mit Nachdruck vertreten wurde. Ein bekannter Merksatz, der Bob Stake zugeschrieben wird, ist: When the cook tastes the soup, that’s formative; when the guests taste the soup, that’s summative.

Kommentar: Das Begriffspaar formativ/summativ gehört zweifellos zu den verbreitesten Begrifflichkeiten im Bereich Evaluation. Dennoch (oder vielleicht gerade deswegen) handelt es sich um einen umstrittenen und mit vielerlei Unschärfen und konzeptionellen Unklarheiten behafteten Taxonomieversuch (vgl. z.B. die Diskussion zwischen Scriven, Chen, Patton und Wholey in Evaluation Practice, 17(2), 1996).

Problematisch ist die sowohl in der Praxis als auch bei Scriven selbst unscharfe Definition der Begriffe summativ und formativ. In "The logic of evaluation" (1980, p. 6-7) definiert er noch relativ eindeutig: "Evaluation may be done to provide feedback to people who are trying to improve something (formative evaluation); or to provide information for decision-makers who are wondering whether to fund, terminate, or purchase something (summative evaluation)". Es geht also um unterschiedliche Evaluationszwecke, die er allerdings bereits mir unterschiedlichen Adressaten konfundiert. Im "Evaluation Thesaurus" von 1991 etwa konfundiert er aber zusätzlich

1. den Zeitpunkt der Evaluation (formativ: während des Programms, summativ: nach Programmende),
2. den Entwicklungsstand des Evaluationsgegenstands (formativ: in Entwicklung, summativ: fertig entwickelt),
3. die Adressaten der Evaluation (formativ: in-house staff, summativ: externe Entscheider) und
4. den Ort der Evaluation (formativ: eher intern, summativ: eher extern).

Keine dieser Konfundierungen erscheint mir sachlogisch zwingend, während sie gleichzeitig aber Missverständnisse provozieren, die entstehen wenn Bezug auf unterschiedliche Bedeutungsfacetten genommen wird. Daher plädiere ich bei der Verwendung von formativ und summativ dafür, die Bedeutung alleine auf den Evaluationszweck zu beziehen und Setzungen in Bezug auf andere Evaluationsdimensionen explizit zu machen.

Problematisch erscheint mir daneben Scrivens einseitige Präferierung summativer Evaluation, die er generell für wichtiger hält (vgl. seine Debatte dazu mit Cronbach).

Synonyme: formativer Evaluation

Weiterführende Texte

Methoden des empirischen-wissenschaftlichen Erkenntnisgewinns.

Evaluation bedient sich herkömmlicherweise vor allem des Methodenrepertoires der empirischen Sozialforschung, um ihre Aufgaben zu erfüllen. Daneben haben in jüngerer Zeit ökonometrische Verfahren und Methoden der Bildungsökonomie wie etwa die Kosten-Nutzen-Analysen einen wichtigen Beitrag zum Methodenpool der Evaluation geleistet.

In diesem Wörterbuch werden forschungsmethodische Fragen nur behandelt, wenn aus evaluationsspezifischer Perspektive Aspekte zu beachten sind, die über das Methodische hinausgehen. Als Anlaufstelle für rein methodische Fragen sind das Internet-Lexikon der Methoden der empirischen Sozialforschung (ILMES) und das Glossar Methoden der empirischen Sozialforschung (MeS) zu empfehlen.

Synonyme: research methods, empirical research method, research method, Forschungsmethode, empirische Forschungsmethoden, empirische Forschungsmethode, empirical research methods

Weiterführende Literatur

Auf Donald Kirkpatrick zurückgehende Differenzierung von Outcomes bei der Evaluation von Traininsprogrammen (Seminaren), das v. a. im Bereich der Fort- und Weiterbildung weite Verbreitung gefunden hat.

Im ursprünglichen Modell werden vier Ebenen (Kirkpatrick selbst bezeichnete sie ursprünglich als Schritte) unterschieden:

1. Reaction: Wie zufrieden sind die Teilnehmer mit dem Training?
2. Learning: Was und wieviel haben die Teilnehmer im Training gelernt?
3. Behavior: Was davon transferieren die Teilnehmer in ihren beruflichen Alltag?
4. Results: Welche endgültigen Effekte ergeben sich daraus auf organisationaler Ebene, z. B. Produktivitäts- oder Qualitätssteigerung?

Mehrere Autoren haben das Modell um eine fünfte Ebene erweitert, die nach dem Kosten-Nutzen-Verhältnis fragt (Effizienz, ROI).

Obwohl häufig als Evaluationsmodell bezeichnet, will Kirkpatrick selbst seine Schöpfung nicht als solches, sondern eher als Orientierungsrahmen verstanden wissen. Kritik wird geübt an der reinen Outcome-Orientierung des Modells, das daher kaum für Verbesserungszwecke geeignet sei, an konzeptionellen Schwächen, etwa die ungeklärten Kausalbeziehungen der Ebenen untereinander betreffend, und an der mangelnden empirischen Fundierung (Bates, 2004; Holton, 1996).

Synonyme: vier Ebenen, Vier-Ebenen-Modell, four-levels model, four levels

Auf Egon Guba und Yvonna Lincoln zurückgehender alternativer Evaluationsansatz mit den Merkmalen: konstruktivistisch beeinflusste erkenntnistheoretische Fundierung; Abgrenzung von wissenschaftsbasierten "positivistischen" Evaluationsansätzen; hermeneutisch-dialektische Methoden; Evaluatoren als Vermittler und Mitwirkende in komplexen sozialen Prozessen.

Ausgehend von Robert Stakes Ansatz der Responsive Evaluation ist der Anspruch, die vielfältigen menschlichen, politischen, sozialen, kulturellen und sonstigen Kontextfaktoren im Umfelt einer Evaluation zu berücksichtigen.

Der Begriff "fourth generation" geht auf Gubas und Lincolns eigene Einteilung der bisherigen Evaluationsgeschichte in drei Phasen aus, aus denen sie ihren Ansatz als quasi evolutionäre Weiterentwicklung hervorgehen sehen:

1. Messen im Sinne von Leistungsmessung bei Schüler/innen
2. Beschreiben im Sinne der Feststellung der Zielerreichung von Maßnahmen; Geburt der Programmevaluation
3. Urteilen im Sinne des Fällens von Güteaussagen über Evaluationsgegenstände, die jetzt auch deren Zielsetzungen einschließen.

Kommentar: Die Einteilung von Guba und Lincoln ist mit Vorsicht zu genießen, da sie offenbar primär darauf abzielt ihren eigenen, nicht unumstrittenen Evaluationsansatz der Fourth-Generation-Evaluation zu betiteln und zu begründen. (Den hat man sich dann offenbar analog zu Fukuyama als Ende der Evaluationsgeschichte zu denken). Daher erscheinen die vier Generationen als deskriptive Darstellung der Evaluationsgeschichte wenig geeignet.

Synonyme: Fourth-generation Evaluation

Empirisch operationalisierbare Fragen, auf welche die Evaluationsstudie systematisch und methodisch begründbare Antworten geben soll.

Im Gegensatz zur Grundlagenforschung ergeben sich die Fragenstellungen bei Evaluationen gewöhnlich aus konkreten Informationsbedürfnissen des Auftraggebers und anderer Stakeholder oder werden in enger Abstimmung mit ihnen erarbeitet (Ausnahme: goal-free evaluation).

Synonyme: questions of the evaluation, Fragestellungen einer Evaluation, questions of an evaluation

Weiterführende Texte

Evaluation, bei der die Akteursrollen Auftraggeber/Evaluatoren und Evaluierte klar voneinander getrennt sind. Fremdevaluation entspricht dem klassischen Bild von Evaluation, bei dem ein neutrales und objektives Evaluationsteam den Evaluationsgegenstand möglichst ohne Eingriffe in dessen Praxis untersucht.

Unter anderem aus Kritik an diesen Prämissen der klassischen Fremdevaluation kam es seit den 1970er Jahren zur Entwicklung neuer und alternativer Evaluationsansätze, bei denen die Praktiker bzw. Evaluierten eine aktivere Rolle im Evaluationsprozess einnehmen.

Eine Fremdevaluation kann als externe Evaluation oder interne Evaluation durchgeführt werden.

Innerer oder intrinsischer Wert eines Evaluationsgegenstands, unabhängig von jedem Anwendungskontext. Die Bestimmung von Güte (merit) und/oder Nutzen (worth) eines Gegenstands ist das Kerngeschäft einer Evaluation.

Beispiel zum Unterschied von Güte und Nutzen: Ein computerbasiertes Training (CBT) kann aus technischer, medialer und didaktischer Perspektive eine hohe Güte (merit) aufweisen, dennoch aber in einem bestimmten Kontext ohne Nutzen (worth) sein, wenn es etwa nicht auf die intendierte Zielgruppe zugeschnitten ist.

Michael Scriven definiert neben Güte und Nutzen noch Bedeutsamkeit (significance) als dritte allgemeine Bewertungsdimension der Evaluation.

Kommentar zur Übersetzung:

• Der Begriff merit wird oft mit Wert statt mit Güte übersetzt. Mit dem Wort Wert bezeichnen wir im Deutschen aber auch normativ-ethische Werte (im Englischen: values), die hier nicht gemeint sind. Ferner gibt es bei der Übersetzung aus dem Englischen regelmäßig Verwirrung, denn bei Verwendung von "Wert" wäre Nutzen = worth und Wert = merit.
• Früher habe ich an dieser Stelle für merit Qualität statt Güte verwendet. Aufgrund der Vieldeutigkeit des Begriffs Qualität (s. dort) scheint mir inzwischen "Güte" passender, wie es auch im Eval-Wiki verwendet wird.

Synonyme: merit, intrinsischer Wert, innerer Wert

Evaluation, die in Bezug auf das angestrebten Erkenntnisniveau verallgemeinerbare Erkenntnisse über einen Evaluationsgegenstand bereitstellen will.

Die Frage ist hier nicht nur, ob die Wirkungen eines Gegenstands auch diesem zuzuschreiben sind (vgl. konfirmatorische Evaluation), sondern inwiefern diese Wirkungen auch für andere Kontexte und ähnliche Evaluationsgegenstände zu erwarten sind. Hier kommen also auch Aspekte der externen Validität von Evaluationsergebnissen ins Spiel.

Synonyme: generalizing evaluation, generalising evaluation

Die ideengeschichtliche Entwicklung der Evaluationsforschung und der Anwendung von Evaluation im Kontext gesellschaftlicher und wissenschaftsgeschichtlicher Entwicklungen.

Bei der praktischen Anwendung von Evaluation werden die frühesten Anfänge teils bereits in der vorwissenschaftlichen Antike gesucht. Sinnvoller erscheint es, erst in der Neuzeit anzusetzen, da wissenschaftsgeschichtlich erst hier die notwendigen Voraussetzungen gegeben waren, um von Evaluation in unsererem heutigen Verständnis zu reden.

Üblicherweise wird als Ursprung der Evaluation im modernen Sinne die Phase der großen Reformen in den USA gesehen. Walberg und Haertel (1990; vgl. Madaus & Stufflebeam, 2000) unterscheiden als Phasen der Entwicklung des Praxisfelds Evaluation im Bildungsbereich:

1. Die Tylersche Phase (1930-1945)
2. Die Phase der Stagnation (1946-1957)
3. Die Phase der Expansion (1958-1972)
4. Die Phase der Professionalisierung und Diversifizierung (1973-1982)
5. Die Phase der Integration (seit 1983)

Shadish, Cook & Leviton (1991) unterscheiden aus ideengeschichtlicher Perspektive drei sich überlappende Phasen der Theoriebildung im Bereich Programmevaluation:

1. Objektivistische Theorien (1965-1978): z.B. Campbell, Scriven
2. Qualitative Wende (1975-1982): z.B. Weiss, Wholey, Guba
3. Synthese und Reform (seit 1980): z.B. Rossi, Cronbach

In Deutschland begann die Diskussion mit leichter Verzögerung etwa Anfang der 1970er v.a. im Kontext der Curriculumevaluation (vgl. Lange, 1983; Müller, 1987; Wollmann, 1994).

Häufig zitiert werden auch die drei Evaluations-"Generationen" nach Guba und Lincoln (1989) (vgl. Fourth Generation Evaluation), die aber sehr stark auf ihren eigenen Ansatz hin zugeschnitten sind.

Synonyme: history of evaluation, evaluation history, Evaluationsgeschichte

Weiterführende Literatur, Weiterführende Texte

Evaluationsaktivitäten, die aufgrund gesetzlicher Regelungen durchgeführt werden müssen.

In der Schweiz ist Evaluation seit 1999 im Artikel 170 der Bundesverfassung gesetzlich fest verankert, indem dort die Überprüfung der Wirksamkeit von Bundesmassnahmen vorgeschrieben wird.

In Deutschland ist im Artikel 114 des Grundgesetztes der Bundesrechnungshof als alleinige Evaluationsinstanz auf Bundesebene mit Fokus auf den Aspekt der Kostenrationalität von Maßnahmen festgeschrieben. Weitere Regelungen finden sich in §89 und §90 der Bundeshaushaltsordnung .

Von Michael Scriven vertrener Evaluationsansatz, der verlangt, dass das Evaluationsteam die Evaluation vornimmt ohne die ofiziellen Ziele des Programms zu kennen oder zu berücksichtigen.

Durch das zielfreie Vorgehen soll gewährleistet werden, dass die tatsächlichen (und nicht nur die erwünschten) Wirkungen einer Maßnahme möglichst vollständig erfasst werden.

Kommentar: Der Begriff ist irreführend, da weder die Evaluation noch die evaluierte Maßnahme ohne Ziel sind. Gemeint ist, dass die Evaluation unabhängig von den nominellen Zielen des Evaluationsgegenstands bleibt. Auch in seiner praktischen Umsetzung erscheint Scrivens normativer Ansatz ein wenig weltfremd (vgl. Shadish, Cook & Leviton, 1991, Kap. 3). So verbietet er die direkte Interaktion mit den Praktikern, die die Maßnahme durchführen, und erlaubt nur die Beobachtungen von Wirkungen und Effekten der Maßnahme.

Zu erklären ist die Entstehung des Ansatzes wohl am ehesten als Absetzbewegung vom damals (Anfang der 1970er) noch weitverbreiteten Gleichsetzung von Evaluation und dem Feststellen der Zielerreichung einer Maßnahme (s. zielorientierte Evaluation). Trotz der kritischen Punkte kann der Ansatz Evaluatoren aber als Mahnung dienen, sich nicht von den offiziellen Zielen einer Maßnahme blenden und davon abhalten zu lassen, auch deren nicht-intendierte Effekte und Nebenwirkungen zu antizipieren und zu untersuchen.

Synonyme: zielfreie Evaluation, goal free evaluation

Forschung, die primär dem Erkenntnisgewinn dient und deren Fragestellungen gewöhnlich aus einem defizitären oder widersprüchlichen Forschungsstand heraus motiviert sind.

Die wesentlichen Unterschiede zwischen Grundlagenforschung und Evaluation sind nach Weiss (1998):

1. Verwertungskontext: Während die Wissensproduktion bei der Grundlagenforschung im Prinzip Selbstzweck ist, sollen die Ergebnisse einer Evaluation immer einer konkreten Nutzung dienen und weiteren Evaluationszielen dienen.
2. Fragestellungen: Grundlagenforschung untersucht Fragestellungen, die sich aus dem bisherigen Forschungsstand ergeben; Bei der Evaluation dagegen ergeben sich die Fragestellungen aus konkreten Fragen der Auftraggeber oder Stakeholder, aus dem Evaluationsgegenstand selbst und aus den Evaluationszielen.
3. Urteils-orientierung: Grundlagenforschung stellt fest, was ist. Kerngeschäft der Evaluation ist dagegen schon wortwörtlich das Fällen von Urteilen über Wert oder Nutzen eines Evaluationsgegenstands.
4. Rahmenbedingungen: Im Vergleich zur Grundlagenforschung unterliegen Evaluationen, die im Praxiskontext durchgeführt werden, meist erheblich engeren Restriktionen.
5. Rollenkonflikte: Sie ergeben isch aus den meist divergierenden Interessenslagen verschiedener Stakeholder.
6. Berichterstattung: Grundlagenforschung publiziert ihre Ergebnisse in der wissenschaftlichen Fachliteratur. Evaluation macht ihre Ergebnnisse u.U. nur einem kleinen Personenkreis zugänglich.
7. Verpflichtungen: gegenüber Auftraggeber, sozialer Verbesserung, Wissensgenerierung, Profession.

Synonyme: fundamental research, basic research

Weiterführende Literatur

Verhaltensnormen der American Evaluation Association (AEA) für professionell Evaluierende.

Im Gegensatz zu anderen Normen, wie etwa die des Joint Committee, sind die AEA guiding principles sehr kurz gehalten. Sie umfassen die folgenden fünf Leitlinien (ausführlichere Version hier ):

• A. Systematic Inquiry: Evaluators conduct systematic, data-based inquiries about whatever is being evaluated.
• B. Competence: Evaluators provide competent performance to stakeholders.
• C. Integrity/Honesty: Evaluators ensure the honesty and integrity of the entire evaluation process.
• D. Respect for People: Evaluators respect the security, dignity and self-worth of the respondents, program participants, clients, and other stakeholders with whom they interact.
• E. Responsibilities for General and Public Welfare: Evaluators articulate and take into account the diversity of interests and values that may be related to the general and public welfare.

Die guiding principles wurden nach Gründung der American Evaluation Association (AEA) im Jahr 1986 durch eine Task Force erarbeitet, 1994 verabschiedet und seitdem regelmäßig aktualisiert. Sie sollen zwar alle vorherigen guidelines der Vorläuferorganisationen der AEA ersetzen, werden aber explizit nicht in Konkurrenz zu den Joint Committe Standards gesehen.

Trotz großer inhalticher Überschneidungen (vgl. Widmer, 1996) unterscheiden sich die guiding principles und die Joint Committe Standards (JCS) in zwei wesentlichen Punkten: (1) Die guiding principles sind wesentlich kürzer und damit eher zur allgemeinen Orientierung als zur konkreten Arbeitshilfe geeignet. (2) Die guiding principles beschreiben eher Standards für Evaluierende ("The AEA principles promote a lifestyle of systematic inquiry, professional development, honesty, respect, and concern for society." Sanders, 1995, p. 49), während die JCS Standards für konkrete Evaluationen beschreiben.

Synonyme: guiding principles for evaluators, AEA guiding principles, AEA guiding principles for evaluators, American Evaluation Association guiding principles for evaluators

Fiktiver Evaluationsguru und Alter Ego von Michael Quinn Patton.

Patton arbeitet viel und gerne mit blumigen Zitaten, Metaphern und Anekdoten. Halcolm (gesprochen wie engl. "how come") muss offenbar immer dann als angebliche Quelle herhalten, wenn er in seinem Zitatekoffer nichts Passendes findet. Am bekanntesten ist Halcolm's The real story of Paradise Lost (s. Zitate).

Weiterführende Literatur

Spezifischer Ansatz einer "Forschung in der Praxis für die Praxis", der aus normativen Überlegungen heraus eine starke Einbeziehung von Praktikern in den sozialwissenschaftlichen Forschungsprozess verlangt und als deren wichtigstes Ziel die Verbesserung der Praxis ansieht.

 ### Konzept, Motivation, Geschichte (Lewin)
 ### Unterschiede Selbstevaluation, Varianten (Altrichter & Posch)

Synonyme: Tat-Forschung, Tatforschung, Praxisforschung, Aktionsforschung, action research

Resultate eines Programms auf übergeordneter organisationaler, kommunaler, regionaler und/oder gesamtgesellschaftlicher Ebene (z. B. Schule, Unternehmen, Nachbarschaft, Region, Bildungssystem)

Varianten: Es gibt es mindestens zwei wichtige andere Verwendungen: (a) langfristige Outcomes (z. B. Kellogg Foundation, 2004), (b) Rossi, Freeman & Lipsey (2004) verstehen unter Impacts die kausal vom Programm verursachte Veränderung (z. B. Lernzuwachs), also die Differenz der Ausprägung einer Outcome-Variable zwischen Programmbeginn und -ende, die kausal auf das Programm zurückzuführen ist, oder kurz: Der Unterschied, den das Vorhandensein eines Programms im Vergleich zum Nichtvorhandensein ausmacht.

Weiterführende Texte

Die Umsetzung oder allgemeine Einführung eines Programms in der Praxis.

(a) Im engeren Sinne bezeichnet Implementierung die Umsetzung einer Maßnahme gemäß dem ihr zugrundeliegenden Konzept. In diesem Sinne ist sie für die Evaluation relevant, da der Grad der Implementierung einer Maßnahme überprüft und berücksichtigt werden muss, um Aussagen über Wirkungen dieser Maßnahme sinnvoll interpretieren zu können (vgl. Implementierungstreue).

(b) Im weiteren Sinne meint Implementierung die flächendeckende Einführung einer zuvor nur im Piloteinsatz erprobten Maßnahme unter Realbedingungen. Implementierung in diesem Sinne ist oft jenseits des Beobachtungshorizonts einer Evaluation. Auch dann kann das voraussichtliche Vorliegen der für eine gelungene Implementierung erforderlichen Bedingungen aber zumindest prospektiv untersucht werden.

Synonyme: Implementation

Überprüfung der Implementierungstreue eines Programms.

Ein wichtiges Werkzeug der Implementierungskontrolle sind logische Modelle, da diese alle relevanten Informationen über die Voraussetzungen, Aktivitäten und Outputs eines Programms enthalten, die als notwendig erachtet werden, die intendierten Outcomes hervorzubringen.

Synonyme: Implementationskontrolle

Der Übereinstimmungsgrad zwischen dem Konzept eines Programms und seiner (lokalen) Umsetzung.

Implementierungstreue und Implementierungskontrolle sind aus verschiedenen Gründen wichtige Aspekt bei Evaluationen. Die Erfahrung zeigt, dass Programme in der Praxis häufig von den lokal Verantwortlichen mehr oder weniger explizit angepasst werden, etwa um lokalen Besonderheiten besser gerecht zu werden oder aus individuellen Präferenzen. Wenn diese Abweichungen vom ursprünglichen Programmkonzept nicht erfasst werden, wird etwas anderes evaluiert als der nominelle Evaluationsgegenstand. Aussagen etwa über die Wirksamkeit (interne Validität) oder Übertragbarkeit (externe Validität) werden damit ungenau.

Kriterien der Implementierungstreue differenzieren häufig Strukturmerkmale (z.B. finanzielle, zeitliche oder personelle Ressourcen, Dosis, Reichweite etc. eines Programms) und Prozessmerkmale (z.B. Vollständigkeit und Reihenfolge der im Programmkonzept vorgesehenen Teilschritte).

Im Rahmen der theoriebasierten Evaluation sensu Chen (1991) wird die Implementierungstreue implizit im Rahmen der action theory thematisiert.

In Cronbachs UTOS-Konzept findet sich ebenfalls der Grundgedanke der Implementierungstreue in der Differenz zwischen "Treatment" und "treatment".

Literatur: Mowbray et al. (2003); O'Donnell (2008)

Synonyme: program integrity, treatment integrity, Implementationstreue, Ausführungsintegrität, Behandlungsintegrität, program fidelity, fidelity of implementation, intervention fidelity, degree of implementation

Empirisch erfassbarer Sachverhalt, der ein empirisch nicht zugängliches Merkmal vollständig oder gemeinsam mit weiteren Indikatoren repräsentiert.

Synonyme: indicator

Form der Systemsteuerung, bei der Qualität durch die Kontrolle von Ausgangsbedingungen (Inputs) gewährleistet werden soll.

Die implizite Annahme von rein input-gesteuerten Systemen lautet, dass ein System dann Qualität produziert, wenn man nur das beste "hineinsteckt". Folglich kann man dieser Logik zufolge auf die Kontrolle der Prozesse oder gar Ergebnisse verzichten.

Beispiel: Ein klassisches Beispiel für Input-Steuerung liegt etwa in Universitäten vor, wo lange Zeit das wichtigste Mittel zur Sicherstellung der Qualität auf Lehrstuhl-Ebene das Auswahlverfahren bei der Besetzung von Professuren war. Während dafür extrem viel Aufwand betrieben wurde (und wird), erfolgte nach einer Berufung nur eine geringe Kontrolle der Arbeitsprozesse (Prozesssteuerung etwa in Form von Verordnungen) und praktisch keine Kontrolle der Ergebnisse (Outputsteuerung).

Synonyme: Inputsteuerung, Inputkontrolle, Input-Kontrolle

(a) Die Evaluation von Inputs. (b) Im Rahmen des CIPP-Modells die Untersuchung alternativer Strategien und Arbeitspläne, um deren Machbarkeit, voraussichtliche Kosten-Nutzen-Effekte und Potentiale zur Erreichung der zuvor festgelegten Ziele einzuschätzen.

Zweck ist der Inputevaluation im CIPP-Modell ist, Entscheidern zu helfen, Arbeitspläne zu erstellen, zwischen konkurrierenden Plänen auszuwählen und notwendige Ressourcen zu beschaffen oder zuzuweisen.

Synonyme: input evaluation, Input-Evaluation

Materielle und immaterielle Ausgangsbedingungen, die durch ein Programm für das Hervorbringen gewünschter Wirkungen bereitgestellt werden müssen.

Typische Inputs sind finanzielle, personelle, materielle, administrative, organisationale und andere Ressourcen sowie konzeptionelle und organisatorische Vorarbeiten, die in das Programm investiert werden. Viele Inputs sind direkt oder indirekt als monetäre Kosten erfassbar.

Inputs sind ein typisches Element von logischen Modellen. Ihre Überprüfung ist Gegenstand der Implementierungskontrolle.

Beispiel: Qualifiziertes Personal, Ausstattung, Budget, Sekretariat, Konzepterstellung, Netzwerke etc.

Varianten: Im Kontext CIPP haben Inputs eine abweichende Bedeutung.

Synonyme: Input, Ressourcen, ressources

Insbesondere im Zuge der Professionalisierung der Evaluation etablierte nationale und internationale Initiativen, Berufsverbände und Interessensgruppen im Bereich Evaluation.

Eine Liste wichtiger nationaler und internationaler Organisationen:

• American Evaluation Association
• European Evaluation Society
• Gesellschaft für Evaluation
• Schweizerische Evaluationsgesellschaft
• Société Française de l'évaluation
• International Organization for Cooperation in Evaluation (IOCE)
• International research group on policy and program Evaluation (INTEVAL)
• Australasian Evaluation Society
• Canadian Evaluation Society
• UNICEF: Evaluation associations

Synonyme: Interessensverbände, evaluation institution, Evaluationsorganisation, Evaluationsverein, evaluation organization, Evaluationsinstitution, evaluation society, evaluation organisation, Berufsverbände, Berufs- und Interessensverbände

Weiterführende Links

Mittel zur Gewinnung von Daten im Rahmen einer Evaluationsstudie.

Klassische Instrumente sind etwa Tests, Fragebögen, Interviewleitfäden, Checklisten, Beobachtungsraster, Protokollraster oder thematische Tagebücher wie man sie aus der allgemeinen empirischen Sozialforschung kennt.

Einige Alternative Evaluationsansätze verwenden darüber hinaus auch kreative und expressive Instrumente der Datengewinnung, wie etwa Collagen, Metaphern und bildliche oder szenische Darstellungsformen.

Synonyme: Erhebungsinstrument, evaluation instrument

Evaluation, bei der das Evaluationsteam oder der Evaluator in der selben Institution angesiedelt ist, wie der Evaluationsgegenstand.

Im Normalfall gibt es bei internen Evaluation eine Abteilung oder Einzelpersonen, die dauerhaft oder auf Zeit für die Evaluation anderer Personen, Abteilungen oder der Gesamtorganisation zuständig sind.

Wenn die beiden Rollen Evaluationsteam und Evaluierte zusammenfallen, handelt es sich um eine Selbstevaluation (die per Definition immer intern ist), sonst um eine interne Fremdevaluation.

Synonyme: internal evaluation

Im Kontext Evaluation der Grad der Sicherheit, mit der gefundene Effekte einer Maßnahme tatsächlich auf diese Maßnahme zurückzuführen sind.

Eine der wiederkehrenden evaluationstheoretischen Debatten der ist die Frage, welcher Grad an interner Validität für praktische Zwecke zu fordern ist.

Synonyme: internal validity

Weiterführende Texte

Joint Committee on Standards for Educational Evaluation. Eine Gruppe nordamerikanischer Berufsverbände, die einige maßgebliche und einflussreiche Sammlungen von Evaluationsstandards herausgibt.

Aus der Selbstdarstellung des Joint Committee :

Created in 1975, the Joint Committee is a coalition of major professional associations concerned with the quality of evaluation. The Joint Committee is housed at The Evaluation Center, Western Michigan University.

The Joint Committee has published three sets of standards for evaluations that are now widely recognized. The Personnel Evaluation Standards was published in 1988, The Program Evaluation Standards (2nd edition) was published in 1994 by Sage Publications, and The Student Evaluation Standards was published in 2003.

The Joint Committee is accredited by the American National Standards Institute (ANSI). Standards approved by ANSI become American National Standards.

The Joint Committee is incorporated as a private nonprofit organization. In addition to setting standards in evaluation, it is also involved in reviewing and updating its published standards (every five years); training policymakers, evaluators, and educators in the use of the standards; and serving as a clearinghouse on evaluation standards literature.

Synonyme: Joint Committee

Weiterführende Literatur, Weiterführende Links

Von Michael Scriven erstellte Liste von (derzeit 15) wesentlichen Kriterien einer Evaluation, die ähnlich wie Evaluationsstandards sowohl zur Planung einer Evaluation als auch zur Metaevaluation herangezogen werden können.

Von den vielen Schöpfungen Scrivens stellt die Key Evaluation Checklist (KEC) am ehesten einen eigenen Evaluationsansatz dar, da sie eine umfassende Reihe von präskriptiven Aussagen zur Durchführung von Evaluationen enthält. Die KEC wird von Scriven immer wieder aktualisiert und enthält derzeit 15 Unterpunkte:

• PART A: PRELIMINARIES
  • I. Executive Summary
  • II. Preface
  • III. Methodology
• PART B: FOUNDATIONS
  • 1. Background and Context
  • 2. Descriptions and Definitions
  • 3. Consumers
  • 4. Resources (a.k.a. "strengths assessment")
  • 5. Values
• PART C: SUBEVALUATIONS
  • 6. Process
  • 7. Outcomes
  • 8. Costs
  • 9. Comparisons
  • 10. Generalizability
• PART D: CONCLUSIONS
  • 11. Overall Significance
  • 12. [possible] Recommendations and Explanations
  • 13. [possible] Responsibility and Justification
  • 14. Report and Support
  • 15. Metaevaluation

Man erkennt, dass viele andere Gedanken Scrivens wie etwa consumer-oriented evaluation oder Metaevaluation hier enthalten sind.

Die aktuellste Version der KEC ist gewöhnlich direkt bei Scriven erhältlich, ältere auch beim Evaluation Center .

Synonyme: KEC

Evaluation, die in Bezug auf das angestrebte Erkenntnisniveau Hypothesen über einen Evaluationsgegenstand prüfen will, und daher auch als hypothesenprüfende Evaluation bezeichnet werden kann.

Gewöhnlich geht es bei einer konfirmatorischen Evaluation darum, die Wirkungen und Effekte eines Evaluationsgegenstands möglichst zweifelsfrei nachzuweisen und den Einfluss anderer Faktoren auszuschließen. In der Terminologie des experimentellen Forschungsparadigmas geht es also darum, die interne Validität der Evaluationsergebnisse zu maximieren.

Synonyme: hypothesenprüfende Evaluation, confirmatory evaluation

Faktoren in der Programmumwelt, die einen Einfluss auf den Evaluationsgegenstand und seine Wirkmechanismen haben.

Verschiedene Evaluationsansätze und -autoren betonen, dass Aussagen über Wirkweise und Effektivität von Programmen ohne Berücksichtigung des Kontext kaum sinnvoll sind. Entsprechende Gedanken finden sich bei Cronbach (Stichwort: UTOS), in der theory-based Evaluation und bei der Realistic Evaluation. Kontext ist oft auch Element in logischen Modellen.

In einem weiteren Sinne wird Kontext auch als Summe aller Faktoren diskutiert, die indirekt auf eine Evaluation Einfluss nehmen (s. New Directions for Evaluation, 135, Fall 2012). Dazu gehören im Einzelnen Problem Context, Decision-making Context, Intervention Context, Evaluation Context sowie Broader Environment mit den Dimensionen physical, organizational, social, culture, tradition, historical und political.

Varianten: Eine abweichende Bedeutung hat Kontext in Stufflebeams CIPP-Modell, wo die Context-Evaluation eher einer Bedarfsanalyse entspricht.

Synonyme: Programmumwelt, context

Im Rahmen des CIPP-Modells die Untersuchung von Bedürfnissen, Problemlagen, vorhandenen Ressourcen und Potenzialen.

Zweck ist, Entscheider und weitere Nutzer dabei zu unterstützen, Ziele und Prioritäten in Bezug auf eine mögliche Maßnahme einzuschätzen und später die Maßnahme in Hinsicht auf diese Ziele zu bewerten.

Synonyme: context evaluation

Wichtige und einflussreiche Personen der Evaluationsforschung und Evaluationsgeschichte.

Wie in anderen Forschungsgebieten auch, gibt es im Bereich Evaluation eine Reihe von Namen, die einem mehr oder weniger zwangsläufig unterkommen, wenn man sich mit der Literatur auseinandersetzt. Viele Koryphäen sind als Entwickler eines bestimmten Evaluationsansatzes, als Autoren von wichtigen Meilensteinen der Evaluationsliteratur oder als Autoren von maßgeblichen Lehrbüchern bekannt geworden.

Eine höchst subjektive und sicherlich unvollständige (alphabetische) Liste mit dem Versuch einer groben zeitlichen Einteilung in "Generationen" (die hier nichts mit den "vier Generationen" von Guba & Lincoln zu tun haben).

• Gründergeneration (1930er)
  • Ralph Tyler
• "erste Generation" (1960er und 1970er)
  • Marvin C. Alkin
  • Donald Campbell
  • Thomas Cook
  • Lee J. Cronbach
  • Ernest House
  • Michael Quinn Patton (a.k.a. Halcolm)
  • Michael Scriven
  • Peter Rossi
  • Robert Stake
  • Daniel L. Stufflebeam
  • Carol H. Weiss
  • Joseph Wholey
• "zweite Generation" (seit 1980er)
  • Huey Chen
  • Christina Christie
  • Steward Donaldson
  • David Fetterman
  • Jennifer Greene
  • Jean King
  • Mel Mark
  • William R. Shadish

Synonyme: seminal writers in evaluation, pioneers of evaluation, Evaluationskoryphäe, wichtige Evaluationsautoren

Weiterführende Literatur, Weiterführende Links

Die Vergleich der monetären Kosten einer Maßnahme mit dem Grad ihrer Zielerreichung bzw. ihrem Impact. Sie kann als Evaluationsmethode bei Outcome-Evaluationen zum Einsatz kommen, welche primär dem Evaluationzweck der Entscheidunghilfe dienen sollen.

Ähnlich wie bei der Kosten-Nutzen-Analyse ist der typische Anwendungsfall für Kosten-Effektivitäts-Analysen eine Entscheidungssituation, in der es um die Auswahl zwischen mehreren funktional gleichwertigen Alternativen geht, deren monetärer Nutzen allerdings nicht zu ermitteln ist. Statt dessen wird danach gefragt, wie stark sich ein gewünschter Effekt der Maßnahme eingestellt hat. Die Entscheidung fällt dann idealerweise auf jene Alternative, welche die beste Kosten-Effektivitäts-Relation aufweist.

Beispiel: Im Falle von Förderprogrammen für leistungsschwache Schüler sind Kosten-Nutzen-Analysen kaum realisierbar, da es nur mit sehr aufwändigen und langfristigen Designs möglich wäre (vgl. etwa Perry-Preschool-Studie), seriös zu schätzen, wieviele Euro jeder in ein bestimmtes Programm investierte Euro etwa durch höhere Einkommensteuern, geringere Arbeitslosigkeit etc. wieder herein bringt. Verschiendene Förderprogramme könnten aber mit einer gewöhnlichen Evaluation auf ihren Impact hin untersucht werden, der dann mit den jeweiligen Kosten in Bezug gesetzt werden kann

Literatur: Levin (1987)

Die Vergleich der monetären Kosten einer Maßnahme mit ihrem monetären Nutzen. Sie kann als Forschungsmethode bei Outcome-Evaluationen zum Einsatz kommen, welche primär dem Evaluationzweck der Entscheidunghilfe dienen sollen.

Typischer Anwendungsfall für Kosten-Nutzen-Analysen sind Entscheidungssituationen, in denen es um die Auswahl zwischen mehreren funktional gleichwertigen Alternativen geht. Die Entscheidung fällt dann idealerweise auf jene Alternative, welche die beste Kosten-Nutzen-Relation oder den größten Nettonutzen aufweist.

Für viele Maßnahmen ist der Nutzen nicht seriös monetär zu ermitteln. In solchen Fällen kommen Kosten-Effektivitäts-Analysen zum Einsatz.

Literatur: Levin (1987)

Synonyme: cost-benefit analysis

Merkmal eines Evaluationsgegenstands, an dem sich seine Güte oder sein Nutzen zeigt und auf dem seine Bewertung beruht.

Da in der Regel nicht die Gesamtheit eines Gegenstands beurteilt werden kann, müssen Evaluationen normativ einzelne Merkmale als Bewertungsgrundlage auswählen.

Kriterien sind oft nicht direkt empirisch zugänglich, so dass sie durch Indikatoren repräsentiert werden müssen, die im Zuge der Operationalisierung erfassbar gemacht werden.

Wohl häufigstes Kriterium bei der (summativen) Evaluation von Programmen ist die Zielerreichung, die als alleiniges Bewertungskriterium aber gewissen Problemen unterliegt (vgl. goal-free evaluation).

Synonyme: criteria, criterion, Kriterien

Von Michael Scriven (1980) allgemein formulierte und von Deborah Fournier (1995) explizierte Metatheorie des Bewertens, das Evaluation grundsätzlich als eigenständige Form des Erkenntnisgewinns ausmacht.

Fournier (1995) unterscheidet unter Bezug auf Scriven (1980) vier grundlegende Schritte, die als sachlogische Abfolge jedem Evaluations- bzw. Bewertungsprozess zugrunde liegen:

1. Bestimmung von Kriterien, an deren Ausprägung sich die Güte oder der Nutzen eines Gegenstands abzeichnet.
2. Bestimmung von absoluten oder relativen Standards für jedes Kriterium, die im Sinne von Schwellwerten vorgeben, bei welcher Ausprägung eines Kriterium von Qualität oder Nutzen gesprochen werden kann.
3. Feststellen der Ausprägung des zu beurteilenden Gegenstands in Bezug auf die zuvor bestimmten Kriterien durch systematische Datensammlung.
4. Vergleich dieser Ausprägung(en) mit dem zuvor bestimmten Standard(s) und Integration (synthesis) der Ergebnisse in einem Werturteil ("Bedeutsamkeit").

Zentral daran ist die Erkenntnis, dass zum Wesen der Evaluation zwei untrennbare Elemente gehören. Zum Einen ist das das naheliegende Element der Datensammlung und Messung (vgl. Assessment), zum Anderen aber auch die Bestimmung von Kriterien und Standards, mit denen das Gemessene verglichen werden kann. Dadurch werden bestimmte Werte normativ gesetzt, ohne die ein evaluatives Urteil nicht zu Stande kommen kann: "Evaluation has two arms, only one of which is engaged in data-gathering. The other arm collects, clarifies, and verifies relevant values and standards" (Scriven, 1991, p. 5).

Kommentar: Ich halte Scrivens logic of evaluation für einen wesentlich wichtigeren (und klareren) evaluationstheoretischen Beitrag als die formativ/summativ Unterscheidung, für die er hauptsächlich bekannt ist. Die ersten beiden Schritte erfolgen in vielen Evaluationskontexten so implizit, dass man sich erst bewusst machen muss, dass sie dennoch immer vorhanden sind und damit Evaluationen tatsächlich eng mit Werten zusammenhängen, die eigentlich einer eigenen Begründung bedürfen. Dafür öffnet uns Scriven hier überzeugend den Blick.

Synonyme: Logic of evaluation

Darstellung der Ablauflogik eines Programms anhand relativ weniger, vorgegebener Komponenten. Üblicherweise werden dabei Inputs (Ressourcen), Aktivitäten (Prozesse), Outputs (Produkte und Dienstleistungen), Outcomes und Impact differenziert.

Meist erfolgt die Darstellung in Form einfacher Kausalketten, in denen die gennanten Komponenten linear durch Pfeile verbunden sind, oder in tabellarischer Form. Lesen lässt sich eine solche Darstellung als eine Reihe von "Wenn...dann..."-Aussagen (Wenn die vorhergehende Komponente erfüllt ist, dann kann auch die darauf folgende Komponente eintreten).

Im engeren Sinne sind logische Modelle ein Werkzeug der Programmplanung, -konzeption und -steuerung. Für die Evaluation sind sie relevant, weil sie an verschiedenen Stellen des Evaluationsprozesses unterstützende Funktionen wahrnehmen können, z.B. als Verständigungsbasis zwischen Evaluationsteam und Praktikern (Passt unsere Sichtweise der Maßnahme?), als Werkzeug der Implementierungskontrolle oder als Grundlage bei der Entwicklung des Evaluationsdesigns (Welche Variablen sind zu beachten?)

Historisch geht die Verwendung logischer Modelle in der Evaluation auf die Evaluierbarkeitsanalyse von Wholey (1979) zurück. Populär wurden sie v.a. durch ihre Verwendung durch wichtige Stiftungen wie Kellogg Foundation oder United Way.

Neben den "klassischen" Komponenten können in logischen Modelle auch Angaben zu Ausgangsproblem, Programmzielen oder -zielsysteme, Annahmen und zum Kontext enthalten sein. Mögliche inhaltliche Ergänzungen sind Prioritäten oder Gewichtung einzelner Elemente, quantitative Vorgaben zur erwarteten Ausprägung oder Menge von Elementen, zeitliche Vorgaben im Sinne eines Projektplans sowie Indikatoren zur empirischen Erfassung.

Varianten: Häufig werden die Begriffle logisches Modell und Programmtheorie mehr oder weniger synonym verwendet. Da aber einfache logische Modellen mit der wenig differenzierten Standard-Wirkungskette Input-Prozess-Output-Outcome nur sehr rudimentäre Aussagen über Wirkmechanismen enthalten können, erscheint eine Differenzierung an dieser Stelle sinnvoll.

Synonyme: logischen Modell, program model, logische Modell, logic model

Weiterführende Texte

Evaluationen, die vorwiegend die Informationsbedürfnisse von Entscheidungsträgern in Management und Administration berücksichtigen.

Der Begriff geht auf eine populäre Einteilung von Worthen & Sanders zurück, die insgesamt fünf Typen von Evaluationsansätzen unterscheiden (Fitzpatrick, Sanders & Worthen, 2004, Kap. 4-8):

• Ziel-orientierte Evaluation
• Management-orientierte Evaluation
• Verbraucher-orientierte Evaluation
• Experten-orientierte Evaluation
• Zielgruppen-orientierte Evaluation

Kommentar: Die Einteilung von Worthen und Sanders erscheint mir nicht besonders geglückt, da verschiedene Ebenen durcheinandergeworfen werden. So bezieht sich management-orientierte Evaluation auf den Aspekt der Nutzer von Evaluationsergebnissen, ziel-orientierte Evaluation dagegen auf eine eher methodische Ebene, verbraucher-orientierte Evaluation beschränkt sich auf einen bestimmten Typ von Evaluationsgegenständen (Produkte) und zielgruppen-orientierte Evaluation thematisiert normative Aspekte. Es handelt sich also auch hier um keine befriedigende Taxonomie von Evaluationsansätzen, sondern eher um eine Typologie, die wichtige Konstellationen von Evaluation schlagwortartig zusammenfasst.

Synonyme: management-orientierten Evaluation, managementorientierte Evaluation, management-oriented evaluation

Die Zusammenfassung der Ergebnisse mehrerer empirischer Studien, die die gleiche Fragestellung oder den gleichen Sachverhalt mit einer vergleichbaren Methodik untersucht haben.

Im Kontext Evaluation kann unter bestimmten Umständen die Metanalyse dazu dienen, die Ergebnisse mehrerer Evaluationstudien zusammenzufassen und so generalisierbares Wissen hervorzubringen, obwohl jede Evaluation für sich nur einen einzelnen Sachverhalt im lokalen Kontext untersucht.

Der Begriff ist nicht zu verwechseln mit dem der Metaevaluation.

Synonyme: meta-analysis, Meta-Analyse

Evaluation einer Evaluation, bei der also eine vorliegende Evaluation der Evaluationsgegenstand ist.

Eine Metaevaluation kann sich auch auf mehrere Evaluationen beziehen und dann Übergänge zur Forschung über Evaluation (s. Evaluationsforschung) aufweisen.

Als Kriterien zur Beurteilung einer Evaluation können die üblichen Qualitätskriterien der empirischen Sozialforschung und vor allem weitergehende Standards der Evaluation dienen. Der Ruf nach einer vermehrten Evaluation von Evaluationen kann als Zeichen einer fortschreitenden Professionalisierung des Felds interpretiert werden.

Der Begriff der Metaevaluation geht auf Michael Scriven (1969) zurück. Er ist nicht zu verwechseln mit den Begriffen Metaanalyse und Evaluationsforschung.

Weiterführende Texte

Routinemäßige, kontinuierliche und systematische Sammlung von Vergleichsdaten mit dem Zweck, Trends und Veränderungen sichtbar zu machen.

Die Datensammlung beim Monitoring ist nicht willkürlich, sondern beschränkt sich auf bestimmte Indikatoren, die regelmäßig erfasst werden. Im Gegensatz zur Evaluation nimmt Monitoring keine Bewertung von erhobenen Daten vor, hat also eine rein beobachtende Aufgabe. So verstanden würde es sich etwa bei den PISA-Studien i.e.S. eher um Monitoring als um Evaluation handeln.

Evaluation, bei der der Evaluationsgegenstand den Evaluationsprozess unbeschadet übersteht.

Das innovative Konzept stammt aus den Materialwissenschaften. Scriven (2004, JMDE 1) hat vorgeschlagen, die zugrundeliegende Idee für den Bereich der sozialwissenschaftlichen Evaluation fruchtbar zu machen. Eine reizvolle Idee, wenn man bedenkt, wie manche Praktiker auf die Zumutungen externer Evaluation reagieren...

Journal of Nondestructive Evaluation

Nützlichkeit, Tauglichkeit oder Eignung eines Evaluationsgegenstands in einem praktischen Kontext. Die Bestimmung von Nutzen (worth) und/oder Güte (merit) eines Gegenstands gehört zum Kerngeschäft von Evaluation.

Während Güte also als ein "absolutes" Merkmal des Evaluationsgegenstands betrachtet werden kann, entsteht Nutzen erst im Wechselspiel zwischen Evaluationsgegenstand und Kontextbedingungen: "Wenn du den Kontext änderst, änderst du den Nutzen" (übers. n. Guba & Lincoln, 1982, S. 43). Beispiel zu Unterschied von Nutzen und Güte: s. Güte.

Michael Scriven definiert neben Güte und Nutzen noch Bedeutsamkeit (significance) als dritte allgemeine Bewertungsdimension der Evaluation.

Synonyme: Tauglichkeit, Eignung, Verwendbarkeit, worth

Personen und Institutionen, welche die Ergebnisse einer Evaluation verwenden. Umfasst nicht nur die Abnehmer eines Evaluationsberichts (meist Auftraggeber und/oder Entscheider), sondern auch nicht-intendierte Nutzer.

Synonyme: Konsument, user, consumer

Verwendung von Evaluationsergebnissen durch Entscheider, Nutzer oder Abnehmer von Evaluationsberichten.

Nach Alkin (1985) lassen sich unterscheiden:

1. instrumental use: Ableitung unmittelbarer Handlungskonsequenzen aus den Evaluationsergebnissen
2. conceptual use: Eher indirekte Veränderung von Überzeugungen, Meinungen, Einstellungen etc. infolge der Ergebnisse (die dann später in anderen Kontexten zu Konsequenzen führen können aber nicht müssen)
3. symbolic use: Nur nominelle Nutzung zur Demonstration von Qualitätsbewusstsein
4. misuse: Missbräuchliche Nutzung, etwa zur nachträglichen Legitimation bereits gefällter Entscheidungen

Die Nutzungsorientierung von Evaluation ist eines der Merkmale, das sie von der Grundlagenforschung unterscheidet. Umstritten ist dabei die Frage, in welchem Maße Evaluatoren für die Nutzung ihrer Ergebnisse verantwortlich sind und ob sich Nutzung (i.S. des instrumental use) im Vorfeld planen lässt. Oft wird aber heute schon von Evaluatoren erwartet, dass sie konkrekte Aktivitäten zur aktiven Förderung der Nutzung ihrer Ergebnisse (Valorisierung) unternehmen.

Die Diskussion um die oft defizitäre Nutzung von Evaluationsergebnissen (beginnend mit Weiss, 1972) war ein wichtiger Motor für die Evaluationsforschung und Ausgangspunkt für diverse Reformbemühungen, wie die Entwicklung alternativer Evaluationsansätze und die intensivierte Bemühungen um die Professionalisierung der Evaluation.

Kirkhart (2000) hat vorgeschlagen, statt Nutzung (use) den weiter gefassten Begriff "Einfluss" (influence) zu verwenden.

Synonyme: Nutzung von Evaluationsergebnissen, evaluation use, Evaluationsnutzung

Weiterführende Texte

Evaluationsansatz, der besonderen Wert auf die Nutzung der Evaluationergebnisse legt.

Prominentester Vertreter dieses Ansatzes ist M.Q. Patton mit der utilization focused evaluation.

Synonyme: Nutzungsfokussierte Evaluation, utilization-focused evaluation, utilisation-focused evaluation, utilisation focused evaluation, utilization focused evaluation, Nutzungszentrierte Evaluation

Weiterführende Literatur

Teilgebiet der Wirtschaftswissenschaften. Ökonometrische Methoden haben in jüngerer Zeit Eingang in das Methodenspektrum der Evaluation gefunden und werden etwa bei Kosten-Nutzen-Analysen verwendet.

Beispielsweise können ökonometrische Modelle alternativ zu Kontrollgruppendesigns zur Abschätzung des Impacts von Qualifizierungsprogrammen herangezogen werden, wobei sie deren Genauigkeit aber offensichtlich nicht erreichen (LaLonde, 1986).

(Hinweis: Die Schreibung mit "Oe" ist nicht üblich, sie wird hier nur verwendet, um eine korrekte alphabetische Einordnung zu erzwingen.)

Synonyme: econometrics, Ökonometrie

Durch ein Programm intendierte Veränderungen bei den Zielgruppen auf individueller oder überindividueller Ebene, oft gestaffelt in kurzfristige (short-term/initial/proximal), mittelfristige (intermediate) und langfristige (long-term/distal) Outcomes.

Beispiele: (Veränderung von) Wissen, Motivation, Einstellungen, Werten, Fähigkeiten, Handeln, Verhalten, Lebenslage oder Status; Organisationskultur, Capacity, Netzwerke, Abläufe oder Strukturen.

Varianten: (a) Rossi et al. (2004) definieren etwas enger: Zustand einer Variable, die durch ein Programm beeinflusst werden soll, nach einer Maßnahme. Differenzen zum Ausgangszustand der Variable können durch das Programm (s. Impact) oder durch programmexterne Faktoren verursacht sein. (b) Teils meint Outcomes auch die längerfristigen Ergebnisse einer Maßnahme, in Abgrenzung zum Output, das in diesem Fall eher kurzfristige Effekte bezeichnet. So etwa im Bildungscontrolling-Modell von Seeber (2003).

Synonyme: effect, Effekt, Wirkung, Outcome

Weiterführende Texte

Form der Systemsteuerung, bei der Qualität durch die Kontrolle von Produkten und Ergebnissen (Output bzw. Outcome) gewährleistet werden soll.

Beispiel: Output-Steuerung liegt etwa in einer Fabrik bei der Endkontrolle von Produkten vor der Auslieferung vor. Im Bildungsbereich lässt sich in den vergangenen Jahren eine deutliche Aufwertung der Output-Steuerung beobachten, indem immer stärker danach gefragt wird, was bei der "Bildungsproduktion" herauskommt (Stichwort PISA).

In einem engen Sinne wurde und wird Evaluation oft ausschließlich als Mittel der Output-Steuerung verstanden, dann nämlich, wenn sie zur Überprüfung der Wirksamkeit von Maßnahmen dient. Im engeren Sinne galt das aber nur für die frühe Phasen der Evaluationsgeschichte, seitdem wird Evaluation in der Regel weiter gefasst.

Die zählbaren Dienstleistungen und Produkte des Programms, mit denen seine intendierten Outcomes ausgelöst oder erreicht werden sollen.

Outputs sind ein typisches Element von logischen Modellen. Ihre Überprüfung ist Gegenstand der Implementierungskontrolle.

Beispiele: In diesem Sinne gehören etwa die im Rahmen eines Programms entwickelten Informationsmaterialien oder Inhalte zu seinem Output. Ein immaterieller Output wäre etwa die Anzahl von durchgeführten Beratungsgesprächen oder Unterrichtseinheiten.

Varianten: (a) Im Begrifspaar Output-Outcome bezeichnet Output oft auch die eher kurzfristigen Wirkungen einer Maßnahme und Outcome (oder gar Transfer) die längerfristigen. (b) Der Begriff wird oft auch völlig unspezifisch verwendet und steht dann synonym mit den Begriffen Outcome, Effekt etc. für die Auswirkungen einer Maßnahme. Stockmann (2006, S. 101) wendet sich mit einem schönen Beispiel gegen diese Vermischungen von Outputs/Produkten und Outcomes/Wirkungen: "Kaum jemand käme auf die Idee, Betrunkene als die Produkte [=Outputs, Anm. JH] einer Brauerei zu bezeichnen, sondern Betrunkenheit ist allenfalls eine Wirkung dieser Produkte."

Synonyme: Produkte, Produkt, output

Evaluationsansatz, bei denen das Evaluationsteam eng mit den Betroffenen und Beteiligten zusammenarbeitet.

Nach Cousins & Whitmore (1998) lassen sich zwei Varianten unterscheiden, bei denen die Zusammenarbeit mit den Stakeholdern jeweils unterschiedlich motiviert ist:

• Practical participatory evaluation
• Transformative participatory evaluation

Synonyme: participatory evaluation

Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation sowie der developmental evaluation.

Patton ist evaluationsmethodisch nicht auf bestimmte Verfahren oder Vorgehensweisen festgelegt, allerdings hat für ihn die (voraussichtliche) Evaluationsnutzung absolute Priorität bei allen evaluationsbezogenen Entscheidungen. Er geht sogar soweit, dass er die Verantwortung für die Nutzung von Evaluationen grundsätzlich bei den Evaluierenden sieht.

Interessant ist, dass Patton im Gegensatz zu den meisten anderen Evaluationskoryphäen schon seit Langem nicht mehr an Universitäten oder anderen Forschungsinstitutionen, sondern als freier Berater in den Bereichen Organisationsentwicklung und Evaluation tätig ist.

Patton ist auch Autor des bekannten Lehrbuchs "Qualitative Research and Evaluation Methods".

Synonyme: Patton

Personen, die für die Produktion bestimmter Leistungen verantwortlich sind. Im Kontext von Personalevaluationen ist Personal ein möglicher Evaluationsgegenstand, beispielsweise im Assessment-Center oder beim Vorgesetzten-Feedback.

Evaluationsstandards für die Personal-Evaluation im Bildungsbereich sind vom Joint Committee (1988) vorgelegt worden.

Synonyme: personnel

Weiterführende Literatur

Die Evaluation von Personen und Personal.

Kommentar: Problematisch am Begriff der Personalevaluation ist, dass Gegenstand der Evaluation immer nur die Teilaspekte einer Person sind, die in einem bestimmten Kontext von Interesse sind, wie etwa die Belastungsfähigkeit von Bewerbern im Assessmentcenter oder der Lernerfolg von Schülern (Notengebung). Es soll also nie ein evaluatives Gesamturteil über eine Person gefällt werden, wobei allerdings die Konsequenzen der Evaluation wiederum die Person als Ganzes betreffen (z.B. Einstellung vs. Nichteinstellung oder Versetzung vs. Sitzenbleiben).

Synonyme: personell evaluation, personal evaluation

Die Evaluation von politischen Strategien.

Synonyme: policy evaluation

Evaluationsgegenstand, der die verschiedenen Aktivitäten einer Administration (wie etwa Gesetzgebung, Mittelverteilung, Umstrukturierungen oder Diplomatie) umfasst, die auf ein gemeinsames politisches Ziel gerichtet sind. Im Gegensatz zu Programmen und Projekten sind politische Strategien nicht von vorne herein zeitlich oder von den Ressourcen her begrenzt.

Weiss (1997, p. 7) definiert "policies" als "an officially accepted statement of objectives tied to a set of activities that are intended to realize the objectives in a particular jurisdiction." Stockmann (2006, S. 97) definiert policy als "eine in sich geschlossene Handlungsstrategie in Bezug auf ein spezifisches Themen- oder Problemfeld".

Beispiele sind etwa die Drogenpolitik einer Kommune, die Landwirtschaftspolitik einer Bundesregierung oder die gemeinsame Außen- und Sicherheitspolitik der EU.

Politische Strategien können auch Programme umfassen, so dass Überlappungen mit der Programmevaluation bestehen.

Kommentar: Da im Englischen zwischen politics (Politik) und policy (politische Strategien; allgemeiner: Verfahrensweisen) differenziert wird, ist m.E. als deutsche Entsprechung für policy "politische Strategie" vorzuziehen.

Synonyme: Verfahrensweisen, policies, Politische Taktik, political strategy, Politischen Strategien, policy

Weiterführende Texte

Variante der participatory evaluation, bei der die Partizipation einer verbesserten Nutzung von Evaluationsergebnissen dienen soll.

Die zugrundeliegende Annahme ist hier, dass vermittelt durch die Steigerung des Relevanzempfinden und des Gefühls der Mitverantwortung die spätere Nutzung der Ergebnisse durch die verantwortlichen Praktiker zunimmt. Der partizipative Gedanke wird hier also primär pragmatisch begründet.

Personen, die im engeren Sinne für die Entwicklung und/oder Umsetzung eines Evaluationsgegenstands verantwortlich sind. Im Kontext Programmevaluation sind sie diejenigen, die sicherstellen, dass die Leistungen des Programms so bei der Zielgruppe ankommen, wie das Programmkonzept es vorsieht.

Beispiele:

• Designer/innen eines Planspiels zur Umweltbildung (Entwickler)
• Lehrer/innen in einem Schulversuch zur Erprobung neuer Unterrichtsmethoden (Entwickler und Umsetzer)
• Trainer/innen für einen fertig entwickelten Zielfindungsworkshop in einem Resozialisierungsprogramm (Umsetzer)

Je nach Kontext einer Evaluation kann es Sinn machen, die Rollen von Entwicklern und Umsetzern getrennt zu betrachten.

Synonyme: program staff, project staff, Projektverantwortliche, Programmverantwortliche, staff

Weiterführende Texte

Handlungsfeld, aus dem ein Evaluationsgegenstand stammt und in dem Evaluation zum Zweck der Handlungssteuerung eingesetzt wird.

Qua Definition sind mögliche Praxisfelder der Evaluation alle Felder, in denen überhaupt steuernd eingegriffen oder planvoll gehandelt wird. Eine unvollständige Liste der wichtigsten Handlungsfelder der Evaluation:

• Bildung
  • Schule
  • Hochschule
  • Erwachsenenbildung
  • Betriebliche Weiterbildung

• Soziale Arbeit und Gesundheitswesen
  • Beratung
  • Jugendarbeit
  • Psychotherapie

• Politik
  • Arbeitsmarkt- und Beschäftigungspolitik
  • Entwicklungszusammenarbeit
  • Agrar- und Umweltpolitik
  • Verkehrs-, Städtebau und Wohnungspolitik
  • Familien- und Sozialpolitik

• Justiz und Forensik
  • Justizvollzug

• Wirtschaft und Handel
  • Verbraucherschutz

• Militär

Objekt oder Artefakt, das gewöhnlich in materieller Form vorliegt und zur Anwendung durch eine Zielgruppe vorgesehen ist. Produkte sind typischerweise Evaluationsgegenstand im Kontext des Verbraucherschutzes und der Verbraucherberatung (z. B. Stiftung Warentest, Testberichte in Fachzeitschriften).

Varianten: In einem weiteren Sinne werden gelegentlich auch die materiellen und immateriellen Ergebnisse von Programmen oder Organisationen als Produkte bezeichnet (so etwa im CIPP-Modell der Evaluation oder in Modellen des Bildungscontrolling). Im Kontext Programmevalation zumindest ist allerdings der Begriff Output gebräuchlicher.

Synonyme: product

(a) Die Evaluation von Produkten. (b) Im Rahmen des CIPP-Modells die Untersuchung intendierter und nichtintendierter sowie kurzfristiger und langfristiger Effekte.

(b) Zweck der Produktevaluation im CIPP-Modell ist, den Erfolg des Evaluationsgegenstands in Bezug auf die beabsichtigten Ziele zu beurteilen, intendierte und nicht-intendierte Effekte festzustellen und die Grundlage für Entscheidungen über den Gegenstand zu schaffen.

(a) Außerhalb des CIPP-Modells meint Produktevaluation schlicht die Evaluation von Produkten, etwa im Rahmen des Verbraucherschutzes. Da Stufflebeam sein CIPP-Modell auch für die Evaluation von Produkten gedacht hat, scheint seine Verwendung des Produktbegriffs ein wenig unglücklich. "Outcome" oder "Effect" wären also viel geeigneter, allerdings klingt "CIPO" oder "CIPE" natürlich längst nicht so gut wie "CIPP"...

Synonyme: Produkt-Evaluation, product evaluation

Prozess der Etablierung von Evaluation als eigenständiger beruflicher Disziplin und wissenschaftlichem Forschungsfeld.

Kennzeichen einer fortschreitenden Professionalisierung im Bereich der Evaluation sind (vgl. Madaus & Stufflebeam, 2000):

1. Gründung von Berufs- und Interessensverbänden
2. Entwicklung von Standards der Evaluation
3. Ausbildungs- und Fortbildungsgänge für die Tätigkeit als Evaluator
4. Regelmäßig erscheinende (Fach-)Zeitschriften als Forum des professionellen Austauschs
5. Entstehung des Berufsbilds "Evaluator/in"
6. Metaevaluation zur Qualitätssicherung von Evaluation
7. Evaluationsforschung zur Weiterentwicklung der Evaluationsmethodologie
8. Allgemeine Anerkennung der Eigenständigkeit von Evaluation als Disziplin und Tätigkeitsfeld

Wie an dieser Aufzählung zu erkennen ist, kann man im nordamerikanischen Raum etwa seit Mitte der 1970er Jahren von einer Professionalisierung der Evaluation sprechen. Für Deutschland haben, v.a. angestoßen durch die Gründung der DeGEval, die genannten Teilprozesse Ende den 1990er begonnen (1. bis 3.) bzw. stecken noch in den Kinderschuhen (4. bis 8.).

Synonyme: professionalization, professionalism, professionalisation

Umfasst nach Wholey (1979) die in ein Programm investierten Ressourcen, die Aktivitäten des Programms sowie seine Outcomes, Impacts und Nebeneffekte, also die Gesamtheit der realen Umsetzung eines Programms.

Program performace spielt eine wichtige Rolle im Ansatz von Wholey (1979). Dieser Ansatz kombiniert Evaluierbarkeitsanalyse, Rapid Feedback Evaluations, Performance Monitoring und vertiefende Evaluationen.

Synonyme: Programmleistungen, Leistungen eines Programms

Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll.

Wholey (1979) definiert: "A program is an organized set of resources and activities directed toward a common set of goals" (p. 1).

Programme sind in der Praxis ein häufiger Evaluationsgegenstand. V.a. die angloamerikanische Evaluationsliteratur beschäftigt sich weitgehend mit program evaluation. Im Bereich Evaluation wird also unter dem Begriff "Programm" jede Maßnahme subsummiert, die einer Interventionslogik folgt, bei der also ein konkreter Bedarf durch gezielte und geplante Aktionen in Richtung eines gewünschten Endzustands verändert werden soll.

Beispiele aus verschiedenen Praxisfeldern sind:

• Unterrichtsmethoden oder Trainingsmaßnahmen (Bildungsbereich)
• Therapien oder Präventionsprogramme (klinische Psychologie und Medizin)
• Integrationsprojekte oder Drogenprävention (soziale Arbeit)

Varianten: In Europa wird der Begriff oft spezifischer verwendet: "a set of organised but often varied activities (a programme may encompass several different projects, measures and processes) directed towards the achievement of specific objectives. Programmes also tend to have a definite time schedule and budget" (Nagarajan & Vanheukelen, 1997, S. 14). Größere Programme in diesem Verständnis umfassen eine Vielzahl von Einzelprojekten an verschiedenen Standorten, die sich trotz des gemeinsamen organisatorischen Rahmens und gleicher oder ähnlicher Zielsetzungen erheblich voneinander unterscheiden können (s. Cluster-Evaluation).

Synonyme: treatment, programme, social intervention program, action program, social intervention, Interventionsprogramm, soziales Interventionsprogramm, soziale Intervention, Interventionsmaßnahme, Modellversuch, Handlungsprogramm, Intervention, Maßnahme, program

Weiterführende Texte

Die Evaluation von Programmen (z.B. Projekte, Innovationen, Interventionen, Bildungsmaßnahmen etc.).

Vor allem in der angloamerikanischen Literatur ist diese Evaluationsvariante so zentral, dass Evaluation und Programmevaluation teils mehr oder weniger synonym verwendet werden. Daneben gibt es aber eine Reihe anderer möglicher Evaluationsgegenstände.

Synonyme: program evaluation, programme evaluation

Differenzierte Darstellung der Wirkmechanismen eines Programms in Form von Kausalannahmen, die zeigen, auf welchem Weg das Programm seine Outcomes erreicht und welche Einflüsse dabei wirksam sind.

Die Forderung nach der Berücksichtigung von Programmtheorien wird oft mit dem Anspruch begründet, über reine Black-Box Evaluationen hinauszugehen, um nicht nur herauszufinden, ob ein Programm funktioniert, sondern auch warum es (nicht) funktioniert.

Graphisch werden Programmtheorien üblicherweise als Kausal- oder Pfaddiagramme dargestellt. Chen (1990) unterscheidet die zwei Elemente action theory und change theory.

Ähnlich wie logische Modelle können Programmtheorien wichtige Funktionen für die Evaluation übernehmen. So können sie als Interpretationsrahmen bei der Analyse von Ergebnissen (Wie sind die Ergebnisse zu erklären?) oder zur Überprüfung der Wirksamkeit eines Programms bzw. seiner Wirkannahmen (Sind die Kausalannahmen des Modells empirisch nachvollziehbar?) dienen.

Im Rahmen quantitativer Evaluationsdesigns können logische Modelle mit Hilfe pfadanalytischer und verwandter Methoden überprüft werden (Hennessy & Greenberg, 1999). Grundsätzlich sind sie in der Anwendung aber nicht an bestimmte methodische Verfahren gebunden, können also auch im Kontext rein qualitativer Evaluationen Anwendung finden.

Varianten: Häufig werden die Begriffle logisches Modell und Programmtheorie mehr oder weniger synonym verwendet. Da aber einfache logische Modellen mit der wenig differenzierten Standard-Wirkungskette Input-Prozess-Output-Outcome nur sehr rudimentäre Aussagen über Wirkmechanismen enthalten können, erscheint eine Differenzierung an dieser Stelle sinnvoll.

Synonyme: theory of change, Wirkungstheorie, Wirkungsmodell, Wirkmodell, program theory

Eine Vorhaben, das eine konkrete Zielsetzung verfolgt, zeitlich begrenzt ist, neuartig ist, organisatorisch komplex ist, meist mehrere Personen bzw. Personengruppen umfasst und eine gezielte Veränderung herbeiführen will.

Projekte sind ein möglicher Evaluationsgegenstand. Da sie einer Interventionslogik folgen, werden sie im Kontext Evaluation gewöhnlich dem generischen Begriff "Programm" untergeordnet und nicht von diesem differenziert.

Synonyme: Einzelprojekt, project

Weiterführende Texte

Impact, der unmittelbar nach oder sogar schon während der Durchführung einer Maßnahme erreicht werden soll.

Synonyme: short-term impact, short-term outcome, proximalen Zielen, proximale Ziele, short-term goal

Form der Systemsteuerung, bei der Qualität durch die Kontrolle von Verfahren und Verhaltensweisen (Prozesse) gewährleistet werden soll.

Prozess-Steuerung kann etwa in Form von Verfahrensvorschriften, Regularien, Gesetzen etc. erfolgen. Nach der Logik eines rein prozess-gesteuerten Systems produziert das System dann Qualität, wenn die Einhaltung dieser Vorgaben während der laufenden Arbeit überprüft und sichergestellt wird.

Synonyme: Prozesssteuerung, Prozesskontrolle, Prozess-Kontrolle, Verhaltenskontrolle, Verhaltens-Kontrolle

Im Rahmen des CIPP-Modells die begleitende Untersuchung, Überprüfung und Dokumentation der Umsetzung von Plänen bzw. Programmen.

Zweck ist, die Programmumsetzung zu unterstützen, die Rechenschaftslegung zu erleichtern und die später gefundenen Effekte des Programms beurteilen und interpretieren zu können.

Synonyme: process evaluation, Prozess-Evaluation

Weiterführende Texte

Vieldeutig verwendeter Begriff, der die Summe aller Eigenschaften eines Gegenstands oder deren Güte oder Nutzen bezeichnen kann.

Harvey und Green (1993) unterscheiden sechs wichtige Verwendungsvarianten:

1. Qualität als exklusive Ausnahme
2. Qualität als das Übertreffen oder Einhalten von Standards
   • Übertreffen höchster Standards (Exzellenz) oder
   • Einhalten von (Mindest-)Standards: Auflösung der Exzellenz, Durchlaufen von Qualitäts-Checks
3. Qualität als Perfektion oder Konsistenz
   • Fokus auf Prozesse: "das richtige richtig tun"
   • Konformität mit Spezifikationen
   • Präventive statt inspektive Qualitätsfürsorge (Qualitätskultur)
4. Qualität als Angemessenheit in Bezug auf Anforderungen
   • Funktionale Definition
   • Nicht exklusiv: „If the product does not fit its purpose then its perfection is irrelevant“ (Harvey & Green, 1991, p. 17)
   • Erfüllen der eigenen aufgestellten Ziele oder Missionen
   • Rolle der internen Qualitätssicherung und der Kundenzufriedenheit
5. Qualität als Value for Money
   • Im Sinne von Return on Investment (ROI)
6. Qualität als Transformation
   • Qualität als die durch einen Gegenstand ermöglichten oder erreichten Veränderungen
   • Im Sinne von Donabedians Ergebnisqualität zu verstehen

Von Donabedian (1996) stammt die prozess-orientierte Unterscheidung von:

• Inputqualität: Qualität von Voraussetzungen, Ressourcen und Rahmenbedingungen einer Dienstleistung
• Prozessqualität: Qualität der Umsetzung einer Dienstleistung
• Ergebnisqualität: Qualität der Ergebnisse, Wirkungen oder Effekte einer Dienstleistung

Kommentar: Aufgrund seiner Vieldeutigkeit sollte der Qualitätsbegriff in der Evaluation vielleicht am besten ganz zugunsten präziser definierbarer Bewertungsdimensionen wie Güte oder Nutzen vermieden werden. Aufgrund der großen Anmutungsqualität(!) des Begriffs ist diese Forderung aber vermutlich wenig realistisch. Hilfreich wäre daher jeweils eine klare konzeptionelle Positionierung des Begriffs etwa im Sinne von Harvey und Green oder Donabedian.

Synonyme: quality

Aufeinander abgestimmtes System von Maßnahmen der Qualitätssicherung und -verbesserung in einer Organisation.

Als weit verbreitete Systeme des Qualitätsmanagements (QM) gelten TQM/EFQM und DIN ISO 9000ff. (vgl. Franz, 1999; Greve & Pfeiffer, 2002; Stark, 2000).

Varianten: Im Qualitätsdiskurs werden QM und andere Komposita, die mit "Qualität-" beginnen, oft mehr oder weniger synonym gebraucht, teils aber auch differenzierend voneinander abgegrenzt. Im letzteren Fall wird (wie bei der hier verwendeten Definition) QM meist als umfassenderer Begriff gegenüber Qualitätssicherung, -verbesserung, -entwicklung etc. verstanden. Fest etablierte Konventionen gibt es allerdings nur in eng umgrenzten Anwendungsfeldern und Domänen.

Synonyme: quality management

Maßnahmen zur Gewährleistung des Gütestandards von Produkten oder Dienstleistungen, üblicherweise bezogen auf die Arbeit einer Organisation. Zu diesen Maßnahmen gehört aufgrund ihrer möglichen Funktionen (s. Evaluationszweck) auch Evaluation.

Varianten: Da der Begriff Qualitätssicherung (QS) aus dem produzierenden Gewerbe stammt, werden für den Dienstleistungs- und v.a. den Bildungssektor die Begriffe Qualitätsverbesserung oder Qualitätsentwicklung oft als passendere Synonyme empfunden. Teils werden die Begriffe aber auch voneinander abgegrenzt. QS bezieht sich dann meist auf Maßnahmen der Outputsteuerung (s. Systemsteuerung), die erst am Ende eines Produktionszyklus einsetzen, während Qualitätsentwicklung, Qualitätsverbesserung etc. für eher prozessbegleitende Maßnahmen stehen. Dass sie hier als synonym zur QS definiert werden, soll also nicht heißen, dass sie es in allen Kontexten sind.

Synonyme: quality improvement, Qualitätsverbesserung, quality development, Qualitätsentwicklung, quality assurance

Von den Briten Pawson und Tilley (1997) vertretener Evaluationsansatz, der besonders die Berücksichtigung des Programm-Kontexts bei der Evaluation fordert.

Pawson und Tilley kritisieren die herkömmlich Praxis (quasi-)experimenteller Designs in der Evaluation. Da diese aufgrund der Vernachlässigung des Kontexts oft Ergebnisse produzierten, die sich unter anderen Rahmenbedingungen nicht replizieren lassen, machen für sie Fragen wie "Does this work?" oder "What works?" wenig Sinn. Stattdessen steht im Zentrum der Realistic Evaluation die Frage "What works for whom in what circumstances?", also wie unter welche Bedingungen eine Maßnahme ihre Wirkungen erzielt.

Sowohl in der Kritik an klassischen (quasi-)experimentellen Designs als auch im gewählten Lösungsansatz lassen sich deutliche Parallelen zur theory-based Evaluation beobachten.

Von Bob Stake vertretener Evaluationsansatz, welcher insbesondere die Bedarfslagen und Informationsbedürfnisse der Akteure in den Vordergrund rücken will. Der Ansatz ist responsiv, da kein im Vorfeld festgelegtes Evaluationsdesign verfolgt, sondern im Prozess auf die sich jeweils ergebenden Erfordernisse reagiert wird.

Wolfgang Beywl (1988) hat das Konzept für die deutschsprachige Diskussion adaptiert und damit einen der ersten Beiträge für eine Rezeption der neueren internationalen Entwicklungen der Evaluationsmethodologie vorgelegt.

Synonyme: responsive evaluation

Verhältnis des Ertrags einer Maßnahme zu den für sie investierten Mitteln.

Die Bestimmung des Return on investment (ROI) spielt insbesondere in Controlling-Ansätzen und bei Kosten-Nutzen-Analyse eine wichtige Rolle, sowie als (nachträglich eingeführte) fünfte Ebene in Kirkpatricks Vier-Ebenen-Modell.

Ursprünglich stammt der Begriff aus dem betrieblichen Controlling-Wesen, wo er teils weitergehende Bedeutungen hat.

Synonyme: ROI

Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation.

Weitere wichtige Beiträge bzw. Positionen von Scriven sind

• die Idee der goal free evaluation,
• sein Plädoyer für consumer oriented evaluation, d.h. Orientierung von Programmevaluationen an Interessen der "Verbraucher" (zur Kritik s. Shadish, Cook & Leviton, 1991)
• seine Idee der cost-free evaluation, d.h. die Forderung, dass Evaluation sich durch ihren Nutzen refinanzieren sollte,
• die Identifizierung der vier evaluativen Kernmethoden scoring, ranking, grading und apportioning,
• die Key Evaluation Checklist (KEC).

Scriven gilt mit über 400 Publikationen als eine der produktivsten Evaluationskoryphäen. Interessanterweise hat er aber trotz dieses enormen Outputs bislang keine Bücher vorgelegt, die seine theoretischen Ansichten umfassend und im Zusammenhang zugänglich machen: Seinen frühen Band "Logic of evaluation" (1980) hat er nie aktualisiert und er ist heute nur schwer zu bekommen; der "Evaluation Thesaurus" wird zwar regelmäßig aktualisiert, ihm fehlt aber aufgrund des Wörterbuchcharakters die Kohärenz (und daneben auch die Neutralität).

Kommentar: Scriven ist wirklich ein harter Brocken. Seine Beiträge zur Evaluation sind unbestritten und nicht wegzudenken. Gleichzeitig habe ich große Probleme mit seinem Werk, da er keine für mich erkennbare Methode hat, um zu seinen oft apodiktischen Ergebnissen zu gelangen. Meist zitiert er kaum Autoren außer sich selbst und einige seiner Beiträge sind vor allem aus evaluationspraktischer Sicht nur schwer nachvollziehbar (z.B. zielfreie Evaluation), abgesehen von konzeptionellen Unschärfen (formative/summative Evaluation). Interessant ist der Kommentar von Shadish, Cook und Leviton (1991, p. 117-118) zu Scriven, die implizit einen Teil dieser Kritik darauf zurückführen, dass Scriven paradoxerweise nur selten Evaluationen selbst durchgeführt hat.

Synonyme: Scriven

Evaluationsansatz, bei dem die Praktiker als "owner of the process" einen wesentlichen Einfluss auf Evaluationsziele, Fragestellungen, Design, Umsetzung und Verwendung von Evaluationsergebnissen haben, oder sogar in Personalunion als Auftraggeber, Entscheider und/oder Evaluationsteam der Evaluation fungieren.

In der deutschsprachigen Diskussion hat das Konzept eine eigene Tradition seit Ende der 1980er Jahre, angestoßen durch die Arbeiten von Maja Heiner aus dem Bereich der sozialen Arbeit. In den 1990er hat es dann im Rahmen von Modellversuchen Eingang in den schulischen Bereich gefunden. In der Weiterbildung findet die Diskussion v.a. im Kontext von TQM, EFQM und ähnlichen Ansätzen statt.

Der Begriff ist (offenbar wegen seiner hohen Anmutungsqualität) ein gefährlicher, da er scheinbar unmittelbare Verständlichkeit suggeriert und zu Missverständnissen einlädt. Selbstevaluation ist nicht mit der Selbsteinschätzung im Rahmen der Datengewinnung zu verwechseln: auch Fremdeinschätzungen können bei der Selbstevaluation eine Rolle spielen, ebenso wie Selbsteinschätzungen bei der Fremdevaluation. Selbstevaluation ist immer eine interne Evaluation, da sich die Begriffe aber auf unterschiedliche Dimensionen beziehen sind sie nicht gleichzusetzen.

Die DeGEval hat einige Jahren die Entwicklung eigener Standards der Selbstevaluation diskutiert. Als Ergebnis erschienen 2004 die "Empfehlungen zur Anwendung der Standards für Evaluation im Handlungsfeld der Selbstevaluation".

In Großbritannien ist self-evaluation im Rahmen eines gemischten Modells der staatlichen Schulaufsicht fest verankert. In Nordamerika ist der Begriff self-evaluation zur Bezeichnung von Evaluationsansätzen eher unüblich. Dort wurden aber einige alternative Evaluationsmodelle entwickelt, welche teils enge konzeptionelle Verwandschaft zur Selbstevaluation aufweisen.

Synonyme: self-evaluation

Im Jahr 1996 gegründete nationale Evaluationsgesellschaft der Schweiz.

Die SEVAL hat bereits 2001 Evaluationsstandards in Tradition der Joint-Committee-Standards verabschiedet, die maßgeblichen Einfluss auf die Entwicklung der DeGEval-Standards genommen haben. Sie wurden 2016 revidiert.

Synonyme: SEVAL, Schweizerische Evaluationsgesellschaft

Personen, Personengruppen und Institutionen, die einen Einfluss auf die Evaluation oder den Evaluationsgegenstand haben (Auftraggeber, Entscheider), die an Entwicklung oder Umsetzung des Evaluationsgegenstands beteiligt sind (Praktiker) oder die vom Evaluationsgegenstand beeinflusst werden (Zielgruppe, Benachteiligte).

Greene (1988) definiert: "people whose lives are affected by the program and people whose decisions can affect the future of the program" (S. 101). Guba & Lincoln (1981, zit. n. Greene, 1988) differenzieren drei Gruppen von Stakeholdern:

1. Entwickler und Anwender: Programmentwickler, Geldgeber der Programmentwicklung, Geldgeber der Programmimplementation, Adaptierer, Aufsichtsgremien, Auftraggeber der Evaluation.
2. Zielgruppe: Nutznießer der Maßnahme
3. Benachteiligte: Jene, die nicht von der Maßnahme profitieren, oder auf deren Kosten die Zielgruppe gefördert wird.

Obwohl die meisten Autoren den Begriff ähnlich definieren, sind in der praktischen Anwendung oft nur die "passiven" Akteure einer Evaluation gemeint, also Praktiker und/oder Zielgruppe bzw. Benachteiligte.

Im Deutschen wird teils genauer differenziert zwischen "Betroffenen" als jenen, die in Folge der Evaluationsergebnisse Konsequenzen befürchten müssen und eine eher passive Rolle im Evaluationsprozess haben, und "Beteiligten", die in einem sonstwie gearteten Zusammenhang zur Evaluation stehen.

Kommentar: Interessant ist, dass bei solchen Diskussionen von Akteurskonstellationen das Evaluationsteam selbst meistens ausgespart wird, also offenbar als außenstehend gedacht wird.

Synonyme: Akteur, Betroffenengruppe, Betroffene, Beteiligtengruppe, Betroffene und Beteiligte, Beteiligte

Weiterführende Texte

Vergleichs- oder Soll-Größe, die als Richtwert beim Fällen eines Werturteils über einen Evaluationsgegenstand an ein Kriterium angelegt wird.

Beispiel: In der Planungsphase der Evaluation eines Fördertrainings für versetzungsgefährdete Schüler wird als Standard festgelegt, dass das Training als erfolgreich gelten soll, wenn die Anzahl der Sitzenbleiber durch das Training um 20 Prozent reduziert werden kann.

Standards können im Sinne des Beispiels einfache Schwellwerte sein, an denen die Beurteilung umschlägt, können aber auch im Sinne einer differenzierten Bewertung mehrfach gestuft werden. Je nach Kriterium kann es auch einen durch einen unteren und einen oberen Standard begrenzten "optimalen" Bereich geben, d.h. dass eine zu hohe Ausprägung eines Kriterium ebenso wenig wünschenswert ist wie eine zu niedrige (z.B. mittlere Satzlänge bei verständlichen Texten; Süße einer Schokolade).

Varianten: Das hier verwendete Begriffsverständnis ist an Scrivens Logik der Evaluation angelehnt. Aufgrund der Vieldeutigkeit von "Standard" werden im Deutschen aber auch andere Begriffe verwendet, z.B. Erwartungswert, Kriterienpunkt, Sollwert, Schwellwert. Auch im Begriff der Evaluationsstandards ist die genannte Unschärfe zu finden, da diese eher Kriterien in Verbindung mit impliziten Maximalstandards thematisieren.

Synonyme: Norm, Erwartungswert, Erfolgskriterium, Kriterienpunkt, Gütestandard, performance criterion, Leistungskriterium, Sollwert, Schwellwert, Zielwert

Methodische und ethische Verhaltensregeln professioneller Evaluation.

Evaluationsstandards sind nicht mit den üblichen Standards der empirischen Sozialforschung gleichzusetzen, da Evaluation zwar deren Methoden verwendet, in der Anwendung aber wesentlich weitergehender ist.

Derzeit liegen eine Reihe von Regelwerken für Evaluationsstandards vor, die sowohl normativ gedacht sind (wie soll man evaluieren?) als auch als deskriptive Kriterien für die Metaevaluation dienen können (woran erkennt man eine gute Evaluation?). Weit verbreitet sind die Standards für Programmevaluation des Joint Committee (1994), die vier Hauptbereiche von Evaluationsstandards umfassen:

1. Nützlichkeit (Utility)
2. Machbarkeit (Feasibility)
3. Fairness (Propriety)
4. Genauigkeit (Accuracy)

Die Standards des Joint Committee wurden von verschiedenen nationalen Evaluationsorganisationen übernommen bzw. an die lokalen Besonderheiten adaptiert, so etwa von der DeGEVal. Ebenfalls vom Joint Committee stammen Evaluationsstandards für die Evaluation von Personal (Joint Committee, 1988) und Lernenden (Joint Committee, 2002).

Weitere Sammlungen von Evaluationsstandards:

• ERS Standards Committee (1982). Evaluation Research Society Standards for Program Evaluation. (Vorläufer der AEA Standards)
• American Evaluation Association (1995). American Evaluation Association. "Guiding Principles for Evaluators." In W. R. Shadish, D. L. Newman, M. A. Scheirer, and C. Wye (eds.), Guiding Principles for Evaluators. New Directions for Program Evaluation, no. 66. San Francisco: Jossey-Bass, 1995. Accessible at eval.org/Publications/publications.html.
• Gegenüber der Regelwut umfangreicherer Standardsammlungen beschränkt sich die französische Evaluationsgesellschaft auf eine 2-seitige Liste zentraler Leitprinzipien.

Evaluationsstandards werden auch von großen Auftraggebern von Evaluationen wie der UNICEF oder etwa dem schweizerischen Bundesamt für Gesundheit (BAG) herausgegeben.

Synonyme: standards for educational evaluation, standards for evaluation, Evaluationsstandard, evaluation standard, Standards für Evaluation, program evaluation standards

Weiterführende Literatur, Weiterführende Links

Seit den 1960er Jahren eine der einflussreichsten Evaluationskoryphäen, bekannt vor allem als Urheber des CIPP-Modells und für seine frühe Mitarbeit an den Evaluationsstandards des Joint Committee für Programme und Personal.

Stufflebeams Ansatz kann der management-orientierten Evaluation zugerechnet werden. In jüngerer Zeit hat er verschiedene Beiträge zu den Evaluation checklists des Evaluation Center geleistet.

Synonyme: Stufflebeam

Evaluation, die den Evaluationszweck verfolgt, ein abschließendes Urteil über einen Evaluationsgegenstand zu fällen. Oft auch: Abschließende Evaluation am Ende einer Maßnahme.

Komplementäres Gegenstück zum Begriff formative Evaluation. Zur Problematik der Begriffe s. dort.

Synonyme: summativer Evaluation

Weiterführende Texte

Letzter Schritt in der Logik der Evaluation, bei dem die unterschiedlichen Kriterien bei der Bewertung eines Gegenstands zu einem einzelnen globalen Werturteil zusammengeführt werden, um dessen Bedeutsamkeit (significance) zu bestimmen.

Nach Scriven (1991) ist eine Synthese v.a. in Situationen geboten, in denen zwischen mehreren Alternativen entschieden werden soll, wie z.B. oft bei der Produktevaluation (vgl. Noten bei Tests der Stiftung Warentest).

Synonyme: synthesis

Gezielte und systematisierte Eingriffe in die Arbeit eines Systems oder einer Organisation (typischerweise mit den Minimalelementen Input, Prozess und Output), mit dem Ziel die Qualität des Systems zu maximieren.

Die klassischen Formen der Systemsteuerung (Steuerungskonzepte) sind Input-Steuerung, Prozess-Steuerung und Output-Steuerung.

Die Idee der Systemsteuerung geht im Prinzip auf kybernetisches Gedankengut zurück und fußt immer implizit oder explizit auf einem Produktionsmodell des regulierten Systems. Damit stellt sie notwendigerweise eine starke Vereinfachung und Komplexitätsreduktion dar. So werden beispielsweise die Interdependenzen von Variablen oder systemdynamische Prozesse (wie etwa Rückkoppelungsschleifen) meist nicht berücksichtigt, auch muss immer eine Auswahl getroffen werden, welche Faktoren für Steuerungszwecke nun die relevanten sind.

Dennoch ist der Gedanke der Systemsteuerung im Kontext Evaluation kaum verzichtbar, da Evaluationsergebnisse ja in der Regel zu praktischen Konsequenzen (also Steuerungseingriffen in ein System) führen sollen. Dies wird an vielen Punkten und Ansätzen sichtbar (s. etwa die Stichworte CIPP-Modell, logisches Modell, Bildungscontrolling, Input, Prozess, Output, Outcome).

Synonyme: System-Steuerung

System zur Gruppierung, Strukturierung und Verortung von verschiedenen Evaluationsmodellen in einem Klassifikationssystem.

Popham (1993) unterscheidet:

1. Zielerreichungsmodelle (goal attainment models) in der Tradition von Ralph W. Tyler (vgl. ziel-orientierte Evaluation)
2. Input-Beurteilungsmodelle (judgmental models emphasizing inputs) wie z.B. Akkreditierung
3. Output-Beurteilungsmodelle (judgmental models emphasizing outputs): Scriven; Stake (frühe Schriften)
4. Entscheidungsorientierte Modelle (decision-facilitation models): CIPP; Provus; Cronbach
5. Naturalistische Modelle: Guba & Lincoln; Stake (spätere Schriften); Eisner;

Alkin hat (2004) den Evaluation Theory Tree vorgelegt, eine genealogische Taxonomie von Evaluationstheoretikern mit den drei Hauptzweigen Nutzung (use), Methoden (methods) und Bewertung (valuing).

Eine weitere bekannte Typologie stammt von Worthen & Sanders (s. management-orientierte Evaluation).

Kommentar: Neben den genannten Taxonomien liegen eine ganze Reihe weiterer Versuche vor, die unüberschaubare Vielfalt von Evaluationsansätzen taxonomisch zu strukturieren. Dass sich noch keiner dieser Versuche durchsetzen konnte liegt auch daran, dass sie jeweils nur einzelne Dimensionen der Variabilität von Evaluation berücksichtigen und damit nicht erschöpfend sein können. Das Problem verweist auf ein nach wie vor bestehendes Defizit im Bereich deskriptiver (vs. präskriptiver) Evaluationstheorien.

Synonyme: classification, Klassifikation, taxonomy

Ergebnis bzw. Berichterstattung bei der Evaluation von Produkten.

Testberichte nehmen unter den Evaluationsberichten insofern eine Sonderstellung ein, als dass sie nicht nur einem Fachpublikum, sondern praktisch jedem Konsumenten etwa durch die Stiftung Warentest oder ähnliche Publikationen bekannt sind.

Synonyme: consumer report

Evaluationsansatz, bei dem der Evaluation eine Programmtheorie des evaluierten Programms zugrunde gelegt wird und als Ausgangspunkt des Evaluationsdesigns, der Dateninterpretation, der Untersuchung von Schwachstellen und/oder der Überprüfung von Wirkungen des Programms dient.

Der Ansatz ist aus einer Kritik an sogenannten "black-box evaluations" hervorgegangen. Die allgemeine Intention ist "to spend more effort on understanding how programs work than on the effort to find out whether or not they actually work in some specific and nongeneralizable instance." (Chen & Rossi, 1983)

Synonyme: theory-based evaluation, theory-oriented Evaluation, program theory Evaluation, theory-driven evaluation, Theorieorientierte Evaluation, Theoriegesteuerte Evaluation, Programmtheoriegesteuerte Evaluation

Weiterführende Links, Weiterführende Texte

Bekannter Ansatz des Qualitätsmanagements.

TQM beruht in der Regel auf einer internen Selbstbewertungen von Organisationen und betont die fortlaufende Organisationsentwicklung.

Synonyme: TQM

Variante der partizipativen Evaluation, bei der die Partizipation der Demokratisierung sozialer Wandlungsprozesse und dem Empowerment von Stakeholdern dienen soll.

Im Gegensatz zur practical participatory evaluation wird der partizipative Gedanke hier primär normativ-ideologisch begründet. Entsprechend wird er vor allem in Anwendungsfeldern wie der Entwicklungszusammenarbeit oder in Sozialprojekten vertreten.

"Vater" der modernen Evaluationsgeschichte, der in den 1930er Jahren im Rahmen der Eight-Year Study die Verwendung des Begriffs Evaluation im aktuellen Sinne geprägt und die zielorientierte Evaluation begründet hat.

Im Rahmen der von Tyler geleiteten Eight-Year Study (1932-1940) wurden traditionelle und progressive (reformpädagogische) Unterrichtsformen in je 15 High Schools vergleichen. Neu war an Tylers Ansatz insbesondere, dass nicht standardisierte Wissenstests, sondern die Erreichung der spezifischen Ziele der evaluierten Maßnahme als Evaluationskriterium zur Beurteilung des Unterrichtserfolgs herangezogen wurde. Die zielorientierte Evaluation kann daher auf Tyler zurückgeführt werden.

Zur Einführung des Begriffs "Evaluation" berichtete Tyler selbst in einem Interview: "Because the term “test” usually was interpreted as a collection of memory items, I suggested the use of the term “evaluation” to refer to investigating what students were really learning." (Nowakowski, 1981, p.8)

Weitere Literatur: Tyler (1935); Madaus & Stufflebeam (2000); Wikipedia

Synonyme: Tyler

Ein von Cronbach (1982) konzipiertes Begrifssystem zur Diskussion bzw. Analyse von Fragen der Validität und Generalisierbarkeit von Evaluationsbefunden.

In der Abkürzung UTOS bzw. utoS stehen die einzelnen Buchstaben für

• Units bzw. units:
  • Units: Die Population, über welche die Evaluationsstudie etwas herausfinden will (z. B. Großstadtschulen mit Gewaltproblemen, die am Treatment teilnehmen wollen)
  • units: Die konkret untersuchte Stichprobe aus dieser Population
• Treatments bzw. treatments:
  • Treatments: Das Konzept des Programms, das evaluiert wird (z. B. ein Gewaltpräventionsprogramm)
  • treatments: Die im Rahmen der Programmdurchführung tatsächlich umgesetzten Maßnahmen
• Observations bzw. observations:
  • Observations: Die Menge aller im evaluierten Programm potenziell zu beobachtenden Sachverhalte
  • observations: Die tatsächlich im Rahmen der Evaluation beobachteten Sachverhalte
• Setting: Zeitliche und kulturelle Bedingungen, unter denen die Evaluationsstudie durchgeführt wird.

Allgemein steht also utoS für das, was von einer Evaluation im Rahmen der praktischen Grenzen tatsächlich beobachtet wird, und UTOS für die allgemeine Domäne, die theoretisch beobachtbar wäre und für die die Evaluation idealerweise Aussagekraft haben sollte. Darüber hinaus bezeichnet Cronbach eine Teilmenge von konkreten Fällen aus allen in UTOS möglichen Fällen als sub-UTOS und als *UTOS Situationen, die über UTOS hinausgehen, und über die ebenfalls Schlussfolgerungen gezogen werden sollen.

Nutzbarmachung von Evaluationsergebnissen durch den Aufbau von Evaluation Capacity sowie Tätigkeiten zur Verbreitung der Evaluationsergebnisse und zur aktiven Förderung ihrer Nutzung.

Der Begriff ist m.W. bisher nur in der Schweiz gebräuchlich (vgl. Bundesamt für Gesundheit, 1997 ).

Evaluation, die Informationen über Produkte (im weitesten Sinne) für Verbraucher generieren will, um diesen die Entscheidung zwischen konkurrierenden Angeboten zu ermöglichen.

Der Begriff ist weitgehend synonym mit dem Begriff Produktevaluation (Bedeutungsvariante a), wird hier aber eigens aufgenommen, da er Teil einer verbreiteten Einteilung von Worthen & Sanders ist (s. management-orientierte Evaluation).

Varianten: Michael Scriven verwendet "consumer-oriented evaluation" in einem weiteren Sinn, indem er vorschlägt, das Prinzip auch auf die Evaluation von Programmen anzuwenden. Er fordert also, dass sich Evaluation grundsätzlich an den tatsächlichen Bedürfnissen der "Konsumenten" eines Programms orientierten sollte und nicht an den nominellen Zielen eines Programms. Praktisch würde das wohl die Durchführung einer Bedarfsanalyse als unerlässlichen Schritt jeder Evaluation implizieren. Shadish, Cook & Leviton (1991) kritisieren an dieser Idee, dass bei Programmevaluationen im Gegensatz zu Produktevaluationen die Konsumenten keine klar abgrenzbare Gruppe bilden und damit deren Bedürfnisse auch nicht eindeutig zu bestimmen sind.

Synonyme: consumer oriented evaluation, verbraucherorientierte Evaluation, consumer-oriented evaluation, verbraucher-orientierten Evaluation, verbraucher-orientierte Evaluation

Die "grand dame" der Evaluation, Autorin eines der ersten Lehrbücher (Evaluation Research, 1972), ist vor allem bekannt geworden durch ihre einflussreichen empirischen Arbeiten zur Evaluationsnutzung seit den 1970er Jahren.

Carol Weiss (1926-2013) kann als eine Wegbereiterin und Vertreterin der theoriebasierten Evaluation gelten und wurde im Evaluation Theory Tree von Marvin Alkin dem Methodenzweig zugeordnet.

Synonyme: Weiss

Zeitschriften und Journals im Bereich Evaluation.

• Englischsprachig (print)
  • New Directions for Evaluation
  • The American Journal of Evaluation
  • Evaluation
  • Evaluation Review
  • Evaluation and Program Planning
  • Canadian Journal of Program Evaluation
  • Educational Evaluation and Policy Analysis
  • Evaluation and the Health Professions
  • Studies in Educational Evaluation

• Englischsprachig (online)
  • Practical Assessment, Research and Evaluation (PARE)
  • The Evaluation Exchange
  • Journal of MultiDisciplinary Evaluation

• Deutschsprachig (print)
  • Zeitschrift für Evaluation

• Deutschsprachig (online)
  • LeGes Gesetzgebung & Evaluation

Synonyme: Zeitschrift, journal, journals

Weiterführende Links

Überprüfung auf die Erfüllung bestimmter Standards durch unparteiische Dritte. Zugleich das Ergebnis dieser Überprüfung in Form eines Gütesiegels, -zeichens oder -zertifikats.

Zertifizierungen können sich auf unterschiedliche Gegenstände wie Personen, Institutionen, Verfahren oder Erzeugnisse beziehen. Sie werden üblicherweise auf Antrag durch eine für das jeweilige Zertifikat zuständige Institution vorgenommen. Beispiele für Zertifizierungen gibt es etwa in den Bereichen Qualitätsmanagement (DIN ISO 9000-9004) oder beim TÜV. Die Funktion von Standards übernehmen im Zusammenhang von Zertifizierungsverfahren oft Normreihen wie die bekannte Deutsche Industrienorm (DIN) bzw. deren europäische (DIN EN) oder internationale Variante (ISO).

Zertifizierungen können als eine Form der Evaluation betrachtet werden, da alle Schritte der Logik der Evaluation durchlaufen werden.

Der Begriff der Akkreditierung wird teils synonym, teils aber auch in Abgrenzung zu Zertifizierung verwendet.

Varianten: Die DIN EN 45003:1995 definiert Zertifizierung etwas enger als "Verfahren, in dem ein (unparteiischer) Dritter schriftlich bestätigt, daß ein Erzeugnis, ein Verfahren oder eine Dienstleistung vorgeschriebene Anforderungen erfüllt." (Quelle ).

Synonyme: certification, Audit

Evaluation, die den Schwerpunkt darauf legt, die (offiziellen) Ziele des Evaluationsgegenstands zu ermitteln und zu überprüfen, in welchem Ausmaß diese erreicht werden.

Der Begriff geht auf eine Einteilung von Worthen & Sanders zurück (s. management-orientierte Evaluation).

Wichtigster Vertreter in diesem Bereich ist der "Urvater" der Evaluation, Ralph Tyler (z.B. 1935, 1942). Wichtigster Kritiker ist Michael Scriven, der als Gegenmodell die zielfreie Evaluation vorgeschlagen hat.

Synonyme: objectives-oriented evaluation, ziel-orientierten Evaluation, zielorientierte Evaluation

Jene Personen oder Institutionen, die von einem Evaluationsgegenstand profitieren oder beeinflusst werden sollen, wie z.B. Schüler von einem Modellversuch, Raucher von einem Entzugsprogramm (beide Programmevaluation) oder Köche von einer Küchenmaschine (Produktevaluation).

Manche Theoretiker betonen, dass Evaluation vor allem der Zielgruppe einer Maßnahme verpflichtet sein muss und nicht den Auftraggebern wie es managementorientierte Ansätze vorsehen. Vor allem Scriven, der in Analogie zur Produktevaluation auch im Kontext von Programmen von "Konsumenten" spricht, vertritt vehement diese Sichtweise.

Synonyme: Adressat, target group, beneficiaries, Nutznießer

Weiterführende Texte

Evaluation, bei denen besonderer Wert auf die Einbeziehung von Stakeholdern gelegt wird.

Der Begriff ist weitgehend synonym mit dem Begriff der partizipativen Evaluation oder stakeholder-based evaluation (s. partizipative Evaluation), wird hier aber eigens aufgenommen, da er Teil einer verbreiteten Einteilung von Worthen & Sanders ist (s. management-orientierte Evaluation).

Synonyme: participant-oriented evaluation, teilnehmer-orientierten Evaluation, Teilnehmer-orientierte Evaluation, zielgruppenorientierte Evaluation