1. Evaluation – was das (nicht) ist und wozu sie nützt
1.1 Zum Begriff
Wie bei jedem vieldiskutierten Begriff finden sich auch bei »Evaluation« unterschiedliche Definitionen. So wird bei Durchsicht der Definitionen der letzten dreißig Jahre die »schillernde Vielfalt der mit dem Begriff ‚Evaluation’ assoziierten Vorstellungen« (Wottawa/Thierau 1998, S. 13) konstatiert, es wird festgestellt: »Aktuelle Evaluationsbegriffe sind vielschichtig« (Balzer / Frey / Nenniger 1999, S. 393), und zusammengefasst: »Evaluation umfasst … eine Vielzahl von Bedeutungsfacetten und Vorgehensweisen, und in der Literatur finden sich zahlreiche, zum Teil sehr unterschiedliche Vorstellungen und Beschreibungen« (Mittag /Hager 2000, S. 103). Zu dieser schillernden Vielfalt beigetragen haben neben anderem die unterschiedlichen Wurzeln der Evaluationsforschung;Rost (2000, S. 129) nennt die Curriculumevaluation, die Evaluation sozialer Programme, die Evaluation therapeutischer Maßnahmen und die Evaluation im Kontext von Betrieben und Organisationen. Insbesondere beim Bezug auf englischsprachige Quellen trägt zur Unklarheit auch bei, dass »Evaluation« bzw. »to evaluate« in der englischen Umgangssprache nicht nur Fachtermini sind, sondern zunächst und vor allem schlicht und ohne besonderen Anspruch »Bewertung« bzw. »bewerten« meinen; dies hat bei deutschen Übersetzungen manchmal Missverständnisse hervorgerufen.
Betrachtet man weniger die Worte und Formulierungen der Evaluationsdefinitionen, sondern die darin angesprochenen Elemente, Aufgaben und Funktionen von Evaluation, dann lassen sich jedoch durchaus eine Reihe von Gemeinsamkeiten identifizieren. Als pädagogischer / andragogischer Fachbegriff im Deutschen wie im Englischen enthält der Begriff »Evaluation« im Wesentlichen drei Elemente, die sich in den meisten Evaluationsdefinitionen finden; diese werden in folgender Definition zusammengefasst.
Definition
Evaluation meint
1. das methodische Erfassen und
2. das begründete Bewerten von Prozessen und Ergebnissen zum
3. besseren Verstehen und Gestalten einer Praxis-Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion.
Diese Definition soll diesem Lehrbuch zu Grunde liegen.
1.1.1 »Erfassen« = methodisch organisiert + dokumentiert (Definitionselement 1a + b)
Der Fachbegriff »Evaluation« enthält zunächst dasErfassen von Prozessen und Ergebnissen. »Erfassen« bedeutet dabei eine explizite Handlung, die (a)methodisch organisiert und damit überprüfbar ist und deren Ergebnis (b) festgehalten –dokumentiert – wird (»schwarz auf weiß«).
a) Für das, was man erfasst, wird die Bezeichnung »Daten« verwendet. Dies können Zahlen oder Worte sein; Bilder, Fotos, Artefakte u.ä. werden, wenn sie als Datengrundlage dienen, vor der Weiterverarbeitung in Zahlen und Worte »übersetzt«. Zum Erfassen der Daten verwendet man Instrumente: Fragebögen, Interviews, Tests, Checklisten, Beobachtungslisten. Die Spanne der Methoden der Datenerhebung reicht von strengen Forschungsdesigns mit Kontrollgruppen, Randomisierung, standardisierten Tests und Signifikanztests in der Tradition quantitativer Unterrichtsforschung bis zu qualitativ-naturalistischen Fallstudien in der Tradition responsiver Evaluation (vgl.Beywl 1998).Widmer (2000, S. 80) fasst die Diskussion mit dem Stichwort »Methodenpluralismus« zusammen. Charakteristisch für das methodisch organisierte Erfassen ist, dass man hinterher weiß, wie die Daten zustande kamen. »Einige Teilnehmer wurden befragt …« erfüllt dieses Kriterium nicht. »Jeder fünfte Teilnehmer gemäß alphabetischer Reihenfolge wurde befragt; unmittelbar im Anschluss wurde jeweils ein Gedächtnisprotokoll angefertigt …« erfüllt dieses Kriterium.
Die Bedingung, dass Evaluation methodisch erhobene Daten voraussetzt, findet sich übereinstimmend sowohl in der älteren als auch in der jüngsten Diskussion. Gelegentlich wird zwischen Evaluation (methodisch weicher) und Evaluationsforschung (methodisch strenger) unterschieden (z. B.Suchmann 1967,Mittag /Hager 2000), gelegentlich werden die Begriffe synonym verwendet (z. B.Stockmann
