]> http://www.evoluation.de/taxonomy/view/or/28 Evaluation, die den Evaluationszweck verfolgt, zur Optimierung eines Evaluationsgegenstands beizutragen. Oft auch: Begleitende Evaluation während einer Maßnahme. Das Begriffspaar formativ/summativ geht auf Scriven (1967) zurück, wobei die konzeptionelle Idee, Evaluationen mit dem Ziel der Verbesserung einzusetzen, bereits früher von Cronbach (1963) mit Nachdruck vertreten wurde. Ein bekannter Merksatz, der Bob Stake zugeschrieben wird, ist: ''When the cook tastes the soup, that’s formative; when the guests taste the soup, that’s summative.'' ''Kommentar:'' Das Begriffspaar formativ/summativ gehört zweifellos zu den verbreitesten Begrifflichkeiten im Bereich Evaluation. Dennoch (oder vielleicht gerade deswegen) handelt es sich um einen umstrittenen und mit vielerlei Unschärfen und konzeptionellen Unklarheiten behafteten Taxonomieversuch (vgl. z.B. die Diskussion zwischen Scriven, Chen, Patton und Wholey in ''Evaluation Practice'', ''17''(2), 1996). Problematisch ist die sowohl in der Praxis als auch bei Scriven selbst unscharfe Definition der Begriffe summativ und formativ. In "The logic of evaluation" (1980, p. 6-7) definiert er noch relativ eindeutig: "Evaluation may be done to provide feedback to people who are trying to improve something (formative evaluation); or to provide information for decision-makers who are wondering whether to fund, terminate, or purchase something (summative evaluation)". Es geht also um unterschiedliche Evaluationszwecke, die er allerdings bereits mir unterschiedlichen Adressaten konfundiert. Im "Evaluation Thesaurus" von 1991 etwa konfundiert er aber zusätzlich # den Zeitpunkt der Evaluation (formativ: während des Programms, summativ: nach Programmende), # den Entwicklungsstand des Evaluationsgegenstands (formativ: in Entwicklung, summativ: fertig entwickelt), # die Adressaten der Evaluation (formativ: in-house staff, summativ: externe Entscheider) und # den Ort der Evaluation (formativ: eher intern, summativ: eher extern). Keine dieser Konfundierungen erscheint mir sachlogisch zwingend, während sie gleichzeitig aber Missverständnisse provozieren, die entstehen wenn Bezug auf unterschiedliche Bedeutungsfacetten genommen wird. Daher plädiere ich bei der Verwendung von formativ und summativ dafür, die Bedeutung alleine auf den Evaluationszweck zu beziehen und Setzungen in Bezug auf andere Evaluationsdimensionen explizit zu machen. Problematisch erscheint mir daneben Scrivens einseitige Präferierung summativer Evaluation, die er generell für wichtiger hält (vgl. seine Debatte dazu mit Cronbach). de http://www.evoluation.de/node/view/176 <p> Subject: Re: Formative/Summative & <a class="glossary_term" href="glossary#233"><acronym title="Strategien, Einzelmaßnahmen und Handlungsschritte, die bei der operativen Umsetzung eines Programms ausgeführt werden. ">Process</acronym></a>/<a class="glossary_term" href="glossary#51"><acronym title="Durch ein Programm intendierte Veränderungen bei den Zielgruppen auf individueller oder überindividueller Ebene, oft gestaffelt in kurzfristige (short-term/initial/proximal), mittelfristige (intermediate) und langfristige (long-term/distal) Outcomes. ">Outcome</acronym></a> 2*2 Matrix? Date: Tue, 28 Dec 2004 12:24:10 -0500 From: Eileen Stryker <Eileen.Stryker@ATT.NET> Reply-To: <a class="glossary_term" href="glossary#170"><acronym title="Wichtigster nordamerikanischer und interationaler Fach-, Berufs- und Interessensverband im Bereich Evaluation. ">American Evaluation Association</acronym></a> Discussion List <EVALTALK@BAMA.UA.EDU> To: EVALTALK@BAMA.UA.EDU References: <C3AE68CDBFAEB34DBCF9F41A8A0136CE091825@maverick.hec.ohio-state.edu> </p> <p> I don't remember whether or where Dan <a class="glossary_term" href="glossary#215"><acronym title="Seit den 1960er Jahren eine der einflussreichsten Evaluationskoryphäen, bekannt vor allem als Urheber des CIPP-Modells und für seine frühe Mitarbeit an den Evaluationsstandards des Joint Committee für Programme und Personal. ">Stufflebeam</acronym></a> might have written this, </p> Fri, 23 Sep 2005 10:52:58 +0200 http://www.evoluation.de/node/view/152 <p> "<a class="glossary_term" href="glossary#23"><acronym title="Die systematische Untersuchung von Güte oder Nutzen eines Gegenstands (Joint committee on standards for educational evaluation, 1994) bzw. das Ergebnis einer solchen Untersuchung. ">Evaluation</acronym></a> may be done to provide feedback to people who are trying to improve something (<a class="glossary_term" href="glossary#28"><acronym title="Evaluation, die den Evaluationszweck verfolgt, zur Optimierung eines Evaluationsgegenstands beizutragen. Oft auch: Begleitende Evaluation während einer Maßnahme. ">formative evaluation</acronym></a>); or to provide information for decision-makers who are wondering whether to fund, terminate, or purchase something (<a class="glossary_term" href="glossary#29"><acronym title="Evaluation, die den Evaluationszweck verfolgt, ein abschließendes Urteil über einen Evaluationsgegenstand zu fällen. Oft auch: Abschließende Evaluation am Ende einer Maßnahme. ">summative evaluation</acronym></a>)." (<a class="glossary_term" href="glossary#214"><acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven</acronym></a>, 1980, S. 6-7) </p> <h3> Problematik des Begriffpaars </h3> <p> Der Begriff <em><a class="glossary_term" href="glossary#28"><acronym title="Evaluation, die den Evaluationszweck verfolgt, zur Optimierung eines Evaluationsgegenstands beizutragen. Oft auch: Begleitende Evaluation während einer Maßnahme. ">formative Evaluation</acronym></a></em> (nicht das Konzept) geht auf <a class="glossary_term" href="glossary#214"><acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven</acronym></a> (1972) zurück und bildet mit seinem Gegenstück <em><a class="glossary_term" href="glossary#29"><acronym title="Evaluation, die den Evaluationszweck verfolgt, ein abschließendes Urteil über einen Evaluationsgegenstand zu fällen. Oft auch: Abschließende Evaluation am Ende einer Maßnahme. ">summative Evaluation</acronym></a></em> wohl das prominenteste Begriffspaar in der <a class="glossary_term" href="glossary#23"><acronym title="Die systematische Untersuchung von Güte oder Nutzen eines Gegenstands (Joint committee on standards for educational evaluation, 1994) bzw. das Ergebnis einer solchen Untersuchung. ">Evaluation</acronym></a>sliteratur. Dennoch handelt es sich um einen problematischen Begriff, da er ungenau definiert, theoretisch unstimmig und in seiner praktischen Verwendung oft entsprechend beliebig ist (vgl. dazu etwa die Beiträge von <a class="glossary_term" href="glossary#221"><acronym title="Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation sowie der developmental evaluation. ">Patton</acronym></a>, Chen und Wholey in <em><a class="glossary_term" href="glossary#23"><acronym title="Die systematische Untersuchung von Güte oder Nutzen eines Gegenstands (Joint committee on standards for educational evaluation, 1994) bzw. das Ergebnis einer solchen Untersuchung. ">Evaluation</acronym></a> Practice</em>, <em>1996</em>, Vol. 17, No. 2). </p> <h3> <a class="glossary_term" href="glossary#204"><acronym title="Teil der Berichterstattung einer Evaluation, in dem ausgehend von den Evaluationsergebnissen konkrete Handlungsalternativen nahegelegt werden. ">Empfehlungen</acronym></a> zum Gebrauch von formativ und summativ </h3> <p> Da sich das Begriffspaar wegen seiner hohen Anmutungsqualität trotz dieser Probleme mit Sicherheit halten wird, scheint mir folgende Begriffsverwendung sinnvoll: </p> <p> Die Begrifflichkeiten formativ/summativ werden ausschließlich zur Bezeichnung intendierter <a class="glossary_term" href="glossary#30"><acronym title="Funktionen und Ziele, die mit einer Evaluation erfüllt werden (sollen). ">Evaluationszweck</acronym></a>e verwendet, so wie es das obige Zitat <a class="glossary_term" href="glossary#214"><acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven</acronym></a>s andeutet. Auf alle anderen von <a class="glossary_term" href="glossary#214"><acronym title="Seit den 1960er Jahren einer der einflussreichsten Denker der Evaluationsliteratur und Urheber bekannter Fachbegriffe wie formative Evaluation/summative Evaluation, Metaevaluation, Evaluand und Logik der Evaluation. ">Scriven</acronym></a> und Apologeten vertretenen Addenda wird verzichtet. Darunter fallen: </p> <ul> <li> Konfundierung von <a class="glossary_term" href="glossary#30"><acronym title="Funktionen und Ziele, die mit einer Evaluation erfüllt werden (sollen). ">Evaluationszweck</acronym></a> und Zeitpunkt der <a class="glossary_term" href="glossary#23"><acronym title="Die systematische Untersuchung von Güte oder Nutzen eines Gegenstands (Joint committee on standards for educational evaluation, 1994) bzw. das Ergebnis einer solchen Untersuchung. ">Evaluation</acronym></a> (während der <a class="glossary_term" href="glossary#25"><acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">Maßnahme</acronym></a> - nach Abschluss der <a class="glossary_term" href="glossary#25"><acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">Maßnahme</acronym></a>) <li> Konfundierung von <a class="glossary_term" href="glossary#30"><acronym title="Funktionen und Ziele, die mit einer Evaluation erfüllt werden (sollen). ">Evaluationszweck</acronym></a> und <a class="glossary_term" href="glossary#6"><acronym title="Das, was in einer Evaluation untersucht und bewertet wird, bzw. dessen Güte oder Nutzen bestimmt wird. ">Evaluationsgegenstand</acronym></a> (<a class="glossary_term" href="glossary#25"><acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">Programm</acronym></a>konzept - Realisierung des <a class="glossary_term" href="glossary#25"><acronym title="Gezielt konzipiertes Maßnahmenpaket, das eine erwünschte Wirkung auf individueller oder sozialer Ebene herbeiführen soll. ">Programm</acronym></a>konzepts) <li> Präskriptive Präferierung einer der beiden Seiten (nämlich der summativen) <li> Anspruch, mit dem Begriffspaar eine erschöpfende <a class="glossary_term" href="glossary#155"><acronym title="System zur Gruppierung, Strukturierung und Verortung von verschiedenen Evaluationsmodellen in einem Klassifikationssystem. ">Taxonomie</acronym></a> möglicher <a class="glossary_term" href="glossary#23"><acronym title="Die systematische Untersuchung von Güte oder Nutzen eines Gegenstands (Joint committee on standards for educational evaluation, 1994) bzw. das Ergebnis einer solchen Untersuchung. ">Evaluation</acronym></a>stypen abzubilden ("A world larger than formative and summative", M.Q.<a class="glossary_term" href="glossary#221"><acronym title="Seit den 1970ern bekannter Evaluationsexperte und Urheber der utilization focused evaluation sowie der developmental evaluation. ">Patton</acronym></a>) </ul> Mon, 06 Dec 2004 12:17:57 +0100 http://www.evoluation.de/node/view/62 <p> <br /> </p> Fri, 23 Jul 2004 23:00:09 +0200 http://www.evoluation.de/node/view/61 <p> fgs dhjkfgösdljkfg ösldfkjg ösdflgkj södflkgj sdöfglk sjödf </p> Sun, 25 Jul 2004 22:47:30 +0200