Was ist Evaluation? / What is evaluation?
"Once upon a time there was a word. And the word was evaluation. And the word was good. Teachers used the word in a particular way. Later on, other people used the word in a different way. After a while, nobody knew for sure what the word meant. But they all knew it was a good word. Evaluation was a thing to be cherished. But what kind of a good thing was it? More important, what kind of a good thing is it?" (Popham, 1993, p. 1)
"Evaluation - more than any science - is what people say it is; and people are saying it is many different things." (Glass & Ellet, 1980, p. 211)
"A <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">program is a theory and an evaluation is its test." (Rein, 1981, S. 141)
"Research is aimed at truth. Evaluation is aimed at action." (wird M.Q.<acronym title="Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation. ">Patton zugeschrieben, Quelle mir unbekannt) Richtig muss es heißen: "Research aims to produce knowledge and truth. Useful evaluation supports action." (<acronym title="Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation. ">Patton, 1997, p. 24)
"Irgend etwas wird von irgend jemandem nach irgendwelchen Kriterien in irgendeiner Weise bewertet." (Kromrey, 2001, S. 21)
"...? evaluation has two arms, only one of which is engaged in data-gathering. The other arm collects, clarifies, and verifies relevant values and <acronym title="Vergleichs- oder Soll-Größe, die als Richtwert beim Fällen eines Werturteils über einen Evaluationsgegenstand angelegt wird. ">standards." (<acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven, 1991, p. 5)
"The evaluation responsibility is a responsibility to make judgements." (Stake, 1979, p. 55)
<acronym title="Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind.
"In God we trust. All others must bring data." (Robert Hayden, Plymouth State College, zit. n. http://www.keypress.com/fathom/jokes.html;³³1³ Berk, 2007 zitiert abweichend W. Edwards Deming als Urheber)
"Der Umfang der Gefahren bei der konkreten Forschung wirkt sich auf viele <acronym title="Personen, die im engeren Sinne für die Entwicklung und/oder Umsetzung eines Evaluationsgegenstands verantwortlich sind. Im Kontext Programmevaluation sind sie diejenigen, die sicherstellen, dass die Leistungen des Programms so bei der Zielgruppe ankommen, wie das Programmkonzept es vorsieht. ">Praktiker mit Sicherheit nicht gerade ermutigend aus. Scheint doch das Einzige mit Gewißheit Vorhersagbare zu sein, daß immer etwas falsch gemacht werden wird." (Wittmann, 1985, S. 187)
"The notion of the <acronym title="Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind. ">evaluator as a superman who will make all social choices easy and all <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">programs efficient, turning public management into a technology, is a pipe dream." (Cronbach et al., 1980, p. 4)
"Once upon a time, the <acronym title="Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind. ">evaluation researcher <acronym title="Identifizierbares Defizit von Individuen, Organisationen, Systemen oder sonstigen Sachverhalten, dem durch ein Programm, ein Produkt, eine politische Strategie oder anderen Evaluationsgegenständen entgegengewirkt werden soll. ">needed only the 'Bible' ('Old Testament', Campbell and Stanley, 1963; 'New Testament', Cook and Campbell, 1979) to look up an appropriate <acronym title="Wann und wie von wem welche Daten erhoben und ausgewertet werden. Wird üblicherweise in der Planungsphase einer Evaluation vom Evaluationsteam als Teil des Evaluationskonzepts erstellt. ">research design and, hey presto, be out into the field." (Pawson & Tilley, 1997, p. 1)
"To make research work when it is coping with the complexities of real people in real <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">programs run by real organizations takes skill – and some guts." (<acronym title="Die grand dame der Evaluation, Autorin eines der ersten Lehrbücher (Evaluation Research, 1972), ist vor allem bekannt geworden durch ihre einflussreichen empirischen Arbeiten zur Evaluationsnutzung seit den 1970er Jahren. ">Weiss, 1972, p. 9)
"...? what the professional independent <acronym title="Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind. ">evaluator brings to the party is a fresh eye and some technical skills." (<acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven, 1997, p. 499)
Die Praxis / The practice
"One requires:
a good sense of humour;
and a thick skin.
Above all else, don't take yourself too seriously (and try not to be paranoid when having inappropriate discussions in a public space.)" (Fear, Bill. Career in Evaluation - Opinions wanted. EVALTALK <listserv@bama.ua.edu>, 7 Dec 2004.)
"The world of evaluation is a frighteningly real world. ...? The actors in the educational drama are strikingly human, with all the attendant frailties of real people." (Popham, 1993, p. 217)
"<acronym title="Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind. ">Evaluators who steel themselves against the probable perils of reality will be less shocked when they try out their shiny new evaluation skills." (Popham, 1993, p. 217)
"Recently, I opened an evaluation process with a <acronym title="Personen, die im engeren Sinne für die Entwicklung und/oder Umsetzung eines Evaluationsgegenstands verantwortlich sind. Im Kontext Programmevaluation sind sie diejenigen, die sicherstellen, dass die Leistungen des Programms so bei der Zielgruppe ankommen, wie das Programmkonzept es vorsieht. ">staff workshop in which I invited participants to share perceptions of and metaphors for evaluation. The <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">program director went to a nearby closet, took out a vacuum cleaner, turned it on, and pronounced: 'Evaluation sucks!'" (<acronym title="Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation. ">Patton, 1997, p. 267)
"Doing evaluation is not a stroll on the beach." (<acronym title="Die grand dame der Evaluation, Autorin eines der ersten Lehrbücher (Evaluation Research, 1972), ist vor allem bekannt geworden durch ihre einflussreichen empirischen Arbeiten zur Evaluationsnutzung seit den 1970er Jahren. ">Weiss, 1997, p. 325)
"I find that I have to begin every evaluation exercise by finding out what people’s previous experiences have been with evaluation, and I find many of those experiences have been negative." (<acronym title="Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation. ">Patton, 2002, p. 131)
Die Rolle von Evaluation / The role of evaluation
"The wolfdog of evaluation is acceptable as a method of <acronym title="Die Sammlung und Interpretation von relevanten Daten für die Steuerung von Organisationen mit dem Ziel, die Planungs- und Steuerungsprozesse von Verfahren und Prozessen möglichst effektiv und effizient zu gestalten. ">controlling the peasants, but it must not be allowed into the castle – that is the message which each of these ideologies represents, in its own way." (<acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven, 2000, p. 252)
"Evaluation avanciert zum neuen Kampfbegriff in der <acronym title="Innerer oder intrinsischer Wert eines Evaluationsgegenstands, unabhängig von jedem Anwendungskontext. Die Bestimmung von Qualität (und/oder Nutzen) eines Gegenstands ist das Kerngeschäft einer Evaluation. ">Qualitätsdebatte" (Schratz, 1999, S. 64)
"The more evaluation, the less <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">program development; the more demonstration <acronym title="Eine Vorhaben, das eine konkrete Zielsetzung verfolgt, zeitlich begrenzt ist, neuartig ist, organisatorisch komplex ist, meist mehrere Personen bzw. Personengruppen umfasst und eine gezielte Veränderung herbeiführen will. ">projects, the less follow-through" ("Wilensky's Law", Wilensky, 1985, S. 9)
"In many educational systems everybody seems to hate <acronym title="Evaluation, bei der das Evaluationsteam nicht zu jener Organisation gehört, die den Evaluationsgegenstand durchführt oder zu verantworten hat. Eine externe Evaluation ist immer eine Fremdevaluation. ">external evaluation while nobody trusts <acronym title="Evaluation, bei der das Evaluationsteam oder der Evaluator in der selben Institution angesiedelt ist, wie der Evaluationsgegenstand. ">internal evaluation." (Nevo, 2001, p. 104)
"We live in a knowledge-centred, value-adding, information-processing, management-fixated world which has an obsession with decision-making." (Pawson & Tilley, 1997, pp. xi-xii)
"...? 'evaluation' has become a mantra of modernity." (Pawson & Tilley, 1997, p. 2)
"I've often referred to the difference between Evaluation and evaluation. Oddly enough evaluation is a much bigger endeavour. Everyone does it often with great rigour, sometimes with a rigour we don't comprehend or agree with. On the other hand Evaluation is our patch of earth and a small one in the grand scheme of things." (Williams, Bob
"In the end it's politics!" (Capela, Stan
<acronym title="(a) Die theoretische und empirische Forschung über Bedingungen, Praxis und Wirkungen von Evaluation. (b) Explizit wissenschaftlich orientierte Evaluation.
">Evaluationsforschung / Evaluation research
"Evaluation research 1963-1997
Must do better. Too easily distractred by silly ideas. Ought to have a clearer sense of priorities and to work more systematically to see them through. Will yet go on to do great things." (Pawson & Tilley, 1997, p. 28)
"Evaluation no longer has the luxury of a-empirical theoretical development." (Smith, 1993. p. 241)
<acronym title="Das, was in einer Evaluation untersucht und bewertet wird, bzw. dessen Qualität oder Nutzen bestimmt wird.
">Evaluationsgegenstände / Evaluation objects
"What is evaluated? Everything. One can begin at the beginning of a dictionary and go through to the end, and every noun, common or proper, calls to mind a <acronym title="Faktoren in der Programmumwelt, die einen Einfluss auf den Evaluationsgegenstand und seine Wirkmechanismen haben. ">context in which evaluation would be appropriate" (<acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven, 1980, p. 4)
"Social <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">programs are complex undertakings. They are an amalgam of dreams and <acronym title="Personen, die für die Produktion bestimmter Leistungen verantwortlich sind. Im Kontext von Personalevaluationen ist Personal ein möglicher Evaluationsgegenstand, beispielsweise im Assessment-Center oder beim Vorgesetzten-Feedback. ">personalities, rooms and theories, paper clips and organizational structure, <acronym title="Person oder Institution, die eine Evaluation bei einem Evaluationsteam (Auftragnehmer) in Auftag gibt. Ist in vielen Fällen auch Entscheider bzw. Abnehmer der Berichterstattung der Evaluation. ">clients and activities, budgets and photocopies, and great intentions." (<acronym title="Die grand dame der Evaluation, Autorin eines der ersten Lehrbücher (Evaluation Research, 1972), ist vor allem bekannt geworden durch ihre einflussreichen empirischen Arbeiten zur Evaluationsnutzung seit den 1970er Jahren. ">Weiss, 1998, p. 48)
Ziele von Evaluation / Goals of evaluation
"The <acronym title="Funktionen und Ziele, die mit einer Evaluation erfüllt werden (sollen). ">purpose of evaluation is not to prove, but to improve." (Egon Guba, zit. n. <acronym title="Seit den 1960er Jahren eine der einflussreichsten Evaluationskoryphäen, bekannt vor allem als Urheber des CIPP-Modells und für seine frühe Mitarbeit an den Evaluationsstandards des Joint Committee für Programme und Personal. ">Stufflebeam, 2004)
"Evaluation's most important purpose is not to prove, but to improve." (<acronym title="Seit den 1960er Jahren eine der einflussreichsten Evaluationskoryphäen, bekannt vor allem als Urheber des CIPP-Modells und für seine frühe Mitarbeit an den Evaluationsstandards des Joint Committee für Programme und Personal. ">Stufflebeam, 2004, p. 247)
"<acronym title="Ergebnisse einer Evaluationsstudie, also die methodisch begründbare Beantwortung der Fragestellungen der Evaluation und weitere Erkenntnisse, niedergelegt in der Berichterstattung. ">Ergebnisse einer Evaluation sind nicht Daten, sondern Entscheidungen über Konsequenzen für die weitere Arbeitsplanung." (Burkard & Eikenbusch, 2000, S. 29)
"We are impressed by the creativity in the field of evaluation, yet at the same time concerned because <acronym title="Person(en), welche eine Evaluation durchführen, also v.a. für die Prüfung der Evaluierbarkeit, das Evaluationsdesign, die Datensammlung und -analyse sowie die Berichterstattung verantwortlich sind. ">evaluators often forget or fail to emphasize the basic purpose of their work." (Glass & Ellet, 1980, p. 212)
Terminologisches / Terminology
"While I do think that people who invent terms have some obligation to argue against careless shifts from their original meanings, they also have an obligation to be open-minded about serious arguments for modification or clarification of the original definitions." (<acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven, 2004, p. 17, in JMDE No. 1)
"For a time it appeared that an educational <acronym title="Bündel deskriptiver, präskriptiver und/oder normativer Aussagen zu Bedingungen, Wirkungen und/oder Umsetzungsvarianten von Evaluation, die optimalerweise auf theoretischen und empirischen Ergebnissen der Evaluationsforschung basieren. ">evaluation model was being generated by anyone who (1) could spell educational evaluation and (2) had access to an appropriate number of boxes and arrows." (Popham, 1993, p. 23)
"One gets the impression that what passes for evaluative research is indeed a mixed bag at best and chaos at worst." (Suchman, 1967, p. vii)
Ursprünge der Evaluation / Origins of evaluation
"From the ambitions of the academic disciplines, from the convulsive reforms of the educational system, from the battle-ground of the War on Poverty, from the ashes of the Great Society, from the reprisals of an indignant taxpaying public, there has emerged evaluation." (Glass, 1976, p. 9)
"There was a general concern over the poor academic <acronym title="Umfasst die in ein Programm investierten Ressourcen, die Aktivitäten des Programms sowie seine Outcomes, Impacts und Nebeneffekte. ">performance of our nation's youth. ...? The quest for accountability had begun." (Baron & Baron, 1980, p. 85-86)
"Our search as lay historians reveals that the the first recorded instance of evaluation occurred when man, woman, and serpent were punished for having engaged in acts which apparently had not been among the objectives defined by the <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">Program circumscribing their existence." (Perloff, Perloff & Sussna, 1976, p. 264)
"In the beginning, God created the heaven and the earth. And God saw everything that he made. "Behold," God said, "it is very good." And the evening and the morning were the sixth day. And on the seventh day God rested from all His work. His archangel came then unto Him asking, "God, how do you know that what you have created is 'very good'? What are your criteria? On what data do you base your judgment? Just exactly what results were you expecting to attain? And aren't you a little close to the situation to make a fair and unbiased evaluation?" God thought about these questions all that day and His rest was greatly disturbed. On the eighth day God said, "Lucifer, go to hell." Thus was evaluation born in a blaze of glory." <acronym title="Fiktiver Evaluationsguru und Alter Ego von Michael Quinn Patton. ">Halcolm's The Real Story of Paradise Lost (<acronym title="Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation. ">Patton, 1997, p. 1)
Methodenstreit / Dispute on methods
"The difference between quantitative and qualitative researchers? is that, while a quantitative <acronym title="Schriftliche Berichterstattung über die Ergebnisse einer Evaluationsstudie. ">reporter would say 'Only ten persons were present ...,' a truly qualitative <acronym title="Schriftliche Berichterstattung über die Ergebnisse einer Evaluationsstudie. ">reporter would say, 'Attendance at the session was depressing.'" (Sechrest & Figueredo, 1993, p. 655)
"We think that everyone might benefit if the most radical protagonists of evidence based medicine organised and participated in a double blind, randomised, placebo controlled, crossover trial of the parachute." (Smith & Pell, 2003, p. 1459)
<acronym title="Verwendung von Evaluationsergebnissen durch Entscheider, Nutzer oder Abnehmer von Evaluationsberichten.
"You mean you guys actually look at the evaluations? I taught two sections of the same class last semester, and I stopped reading the evaluations after about the sixth section I taught. Most are positive, some wish I would die, and none provide useful feedback." (tuxthepenguin auf http://chronicle.com/forums/index.php?topic=69226.0³³1³)
<acronym title="Konzept eines Programms in Form einer Zusammenfassung von Variablen und deren Kausalzusammenhängen, die für die Wirkweise des Programms relevant sind. Logische Modelle sind zentral für die theoriebasierte Evaluation.
">Programmtheorien und logische Modelle
"The <acronym title="Konzept eines Programms in Form einer Zusammenfassung von Variablen und deren Kausalzusammenhängen, die für die Wirkweise des Programms relevant sind. Logische Modelle sind zentral für die theoriebasierte Evaluation. ">program theory approach has exposed the impoverished nature of the theories that underlie many of the <acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">interventions we study." (Bickman, 2000, p. 107)