Evaluation

Professionell durchgeführte Evaluationen unterscheiden sich nach L. Balzer durch folgende Kriterien von alltäglicher Bewertung:[8]

• auf klar definierten Gegenstand bezogen
• von Experten durchgeführt
• Bewertung anhand präzise festgelegter und offengelegter Kriterien (Evaluations‐/Bewertungskriterien)
• Informationsgewinnung durch empirische Datenerhebung
• Systematische Informationsbewertung anhand bestimmter Regeln

Auf den Evaluationsprozess wird von L. Balzer, wie folgt, näher eingegangen: „Evaluation ist ein Prozess, … bei dem nach zuvor festgelegten Zielen und explizit auf den Sachverhalt bezogenen und begründeten Kriterien ein Evaluationsgegenstand bewertet wird. Dies geschieht unter Zuhilfenahme sozialwissenschaftlicher Methoden durch Personen, welche hierfür besonders qualifiziert sind. Das Produkt eines Evaluationsprozesses besteht in der Rückmeldung verwertbarer Ergebnisse in Form von Beschreibungen, begründeten Interpretationen und Empfehlungen an möglichst viele Beteiligte und Betroffene, um den Evaluationsgegenstand zu optimieren und zukünftiges Handeln zu unterstützen.“[8]

Die Beurteilung von Personen oder Institutionen, die mit (oftmals negativen) Sanktionen verbunden ist, ist zu differenzieren von der Beurteilung von Maßnahmen, die auf ihre Wirksamkeit hin untersucht werden und als Evaluation im eigentlichen Sinne bezeichnet werden können. Auf der Basis einer Zielvereinbarung wird eine Ausgangserhebung durchgeführt, es werden daraufhin Maßnahmen geplant, mit denen die Ziele erreicht werden sollen. Dann müssen Messinstrumente / Beurteilungskriterien entwickelt werden, mit denen man überprüfen kann, ob die Maßnahmen zum Erfolg geführt haben. Eventuell nach Zwischenerhebungen während der Durchführung wird in einer Schlusserhebung der Erfolg der Maßnahme überprüft, um daraus neue Zielvereinbarungen zu treffen und erneut in den Kreislauf einzutreten. Betroffene sollen zu Beteiligten werden, so dass der Prozess konsensual verläuft und nicht durch fremde Interessen und unklare Kriterien bestimmt wird.

Evaluation hat im Qualitätsmanagement (TQM, ISO 9000, 2Q, Q2E) schon lange einen festen Platz. Im EFQM-Modell wird Evaluation z. B. gefordert, um die Ergebnisse (der Arbeit) bei Kunden, Mitarbeitern und der Gesellschaft zu erfassen. Evaluation fungiert hier als Rückkopplungs­element für die Prozesssteuerung im Rahmen der Organisations- und Qualitätsentwicklung. Es wird dabei überprüft, ob die Interventionen auch tatsächlich die gewünschten Ergebnisse bzw. Wirkungen produzieren (Ursache-Wirkungs-Beziehung). Erfasst werden sowohl subjektive Daten über die Wahrnehmung der Betroffenen, also der Mitarbeiter und Kunden, als auch objektive Leistungsindikatoren, die intern im Unternehmen erfasst werden können.

Neben der Evaluation der Ergebnisse fordert das EFQM-Modell auch die direkte Evaluation der Abläufe, Interventionen und Maßnahmen in den Bereichen Führung, Strategie und Personal. Hier kommt die Methode der Selbstevaluation zur Anwendung, um die Prozesse zu bewerten und schließlich zu verbessern. Die Führungskräfte und Mitarbeiter des Unternehmens evaluieren sich, ihre Teams und ihre Organisation selbst anhand vorgegebener Kriterien. Sie nutzen dazu eigens für das Qualitätsmanagement (QM) entwickelte, möglichst objektive, verlässliche und valide Instrumente und Methoden. Auf Basis der gewonnenen Daten, Einschätzungen und Belege werden Handlungsempfehlungen und Veränderungsmaßnahmen abgeleitet.

Sowohl die Selbst- als auch Fremd-Evaluationen können durch Benchmarking ergänzt und damit aussagekräftiger gemacht werden. Als Benchmarks dienen Daten aus anderen vergleichbaren Organisationen. Sie liefern Maßstäbe für die Bewertung und die Interpretation der eigenen Werte und damit der eigenen Situation. Im Idealfall kann auch die konkrete Kontaktaufnahme mit den Besten der Branche ein gemeinsames Lernen ermöglichen.

Neben diesen rein internen Evaluationen werden zu Zertifizierungs­zwecken auch externe Evaluationen gefordert: externe unabhängige Auditoren evaluieren die Organisation anhand derselben Kriterien und geben ihre Bewertung ab. Die traditionellen Ansätze von EFQM oder ISO9000 beruhen meist auf sehr linearen Ursache-Wirkungsmodellen. Beispiele für andere Herangehensweisen sind zum Beispiel die kybernetischen Ansätze von Fredmund Malik.

Mit im Bildungsalltag stattfindenden Evaluationsuntersuchungen werden Bestandsaufnahmen zum Bildungserwerb von Lernenden in der pädagogischen Praxis gemacht, um deren Ergebnisse für eine Bewertung oder Verbesserung der Praxis zur Verfügung zu stellen.[15] Im Sinne der empirischen Bildungsforschung bedeutet Evaluation „das methodische Erfassen und das begründete Bewerten von Prozessen und Ergebnissen zum besseren Verstehen und Gestalten einer Praxis-Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion.“[16]

Der Umweltschutz gehört bisher weder in den USA noch in Europa zu den zentralen Anwendungsgebieten der Evaluation. Sozialwissenschaftliche Studien zur Evaluation von Umweltproblemen sind abgesehen von einigen Ausnahmen vor allem im Bereich des Energieverbrauchs, des Lärmschutzes und der Abfallproduktion selbst im Rahmen größerer politischer Programme eher selten.

Eine Ursache ist sicherlich in der vergleichsweise geringen Anerkennung der Sozialwissenschaften als kompetente Ansprechpartner in Umweltfragen zu sehen, was sich erst angesichts mangelnder Erfolge von Maßnahmen zur Steigerung des Umweltbewusstseins in den neunziger Jahren grundlegend verändert hat. Nachdem die Formel Umweltaufklärung schafft Umweltbewusstsein und Umweltbewusstsein führt zu einem entsprechenden Verhalten durch eine Vielzahl sozialwissenschaftlicher Studien widerlegt und auf die Bedeutung sozialer Faktoren für das umweltrelevante Individualverhalten hingewiesen wurde, begann sich die Umweltdiskussion auch für sozialwissenschaftliche Fragestellungen zu öffnen und verabschiedete sich zunehmend von der Auffassung, dass Umweltprobleme rein durch technische Lösungen zu bewältigen seien.

Gegenwärtig ist die Nachfrage nach Umweltevaluationen sehr stark durch öffentliche Auftraggeber bestimmt. Die Aufträge beziehen sich vorrangig auf die Bewertung politischer Programme oder einzelner Projekte. Insbesondere bei internationalen Organisationen sind dabei Tendenzen zur Entwicklung von Qualitätsanforderungen, die eine Einführung von Umweltevaluationen als Regelverfahren bei der Durchführung politischer Verfahren vorbereiten sollen, zu erkennen. In Deutschland sind auf Bundes- und Landesebene bei den politischen Instanzen bisher bestenfalls erste Ansätze in dieser Richtung wahrzunehmen. Durch den großen Stellenwert von Evaluationen bei der Stadt- und Raumplanung ist eine Etablierung von sozialwissenschaftlichen Umweltevaluationen durch Einbindung in bestehende, eher technisch orientierte (Planungs-)Verfahren wie z. B. die Umweltverträglichkeitsprüfung sogar eher auf regionaler und kommunaler Ebene zu erwarten. Die private Nachfrage nach Umweltevaluationen sowohl durch Unternehmen als auch durch Verbände und zivilgesellschaftliche Organisationen ist dagegen noch sehr gering. Trotz der Entwicklung von Umweltmanagement­systemen (z. B. EMAS) ist eine Einbindung der Erkenntnisse der sozialwissenschaftlichen Evaluation in die Qualitätsmanagementsysteme der Betriebe bisher nicht gelungen.

Auf der Angebotsseite dominieren zumindest teilweise staatlich finanzierte Forschungsinstitute den Markt. Institute, die sich ausschließlich auf die Durchführung von Umweltevaluationen spezialisiert haben, gibt es dabei jedoch nicht. Am weitesten geht hier die Entwicklung beim Centrum für Evaluation der Universität des Saarlandes und dem Centre for Sustainable Management (CSM) der Universität Lüneburg.

Auch bei den privaten Consultings haben nur wenige den Schwerpunkt ihrer Tätigkeiten auf sozialwissenschaftliche Umweltevaluationen gelegt. Hier sind als Beispiele das Institut für sozial-ökologische Forschung (ISOE) und das Institut für ökologische Wirtschaftsforschung (IÖW) zu erwähnen. Darüber hinaus haben auch eingeführte Umweltwissenschaftliche Institute wie das Wuppertal-Institut, das Öko-Institut in Freiburg oder das IFEU-Institut in Heidelberg ihr Angebot in Richtung sozialwissenschaftlicher Forschungsarbeiten erweitert, ohne hierin jedoch ein primäres Geschäftsfeld zu sehen und entsprechende Aufbauarbeiten zu leisten. Angesichts der steigenden Anforderungen, die sich durch das Leitbild der „nachhaltigen Entwicklung“ für die Einführung entsprechender Maßnahmen ergeben, ist allerdings trotz der schwierigen Ausgangslage auch im Umweltbereich eine expansive Entwicklung des Evaluationsmarktes und eine fortschreitende Professionalisierung des Angebots zu erwarten.

Evaluationen in der Entwicklungszusammenarbeit haben bereits eine lange Tradition. Der Schwerpunkt liegt dabei auf Evaluationen von Projekten und Programmen.

Die ausgeprägte Evaluationskultur innerhalb der Entwicklungszusammenarbeit ist vor allem darin begründet, dass die im Rahmen von Projekten und Programmen eingesetzten Mittel stets gegenüber den Geldgebern gerechtfertigt werden mussten und müssen.

Evaluationsansätze in der Entwicklungszusammenarbeit werden darüber hinaus stark durch internationale Abmachungen, insbesondere der Millenniumserklärung und der Pariser Erklärung geformt. Die sog. „Harmonisierung“ als durchgängiges Prinzip der Entwicklungszusammenarbeit schlägt sich beispielsweise in der Forderung nach Gemeinschaftsevaluierungen der Akteure nieder. In Deutschland haben sich staatliche Organisationen der „Entwicklungszusammenarbeit aus einem Guss“ verpflichtet und streben auch bei Evaluationen ein einheitliches Vorgehen an. Partnerländer übernehmen zunehmend die Rollen des Auftraggebers und des Durchführenden von Evaluation.

Was die Evaluationsgegenstände betrifft, so verlagert sich der Fokus immer mehr von der Output-Evaluation als Leistungsnachweis hin zu Evaluation der Wirkungen (Outcomes und Impacts) von Projekten und Programmen auf dem Gebiet der Entwicklungszusammenarbeit. Man arbeitet mit Wirkungsketten und ausgefeilten Evaluationsdesigns, wie z. B. der Logical Framework Matrix („Logframe“).

Traditionelle Evaluationskonzepte- und methoden, die auf linearen Kausalitätsmodellen beruhen, werden jedoch zunehmend hinterfragt und durch kybernetische Ansätze ergänzt oder gar verdrängt. Eine ähnliche Entwicklung, wie sie derzeit auch im Bereich der Organisationsentwicklung und -evaluation stattfindet. Neben der Suche nach innovativen (Selbst-)Evaluationsmethoden (z. B. Lernhelix) erscheint die (Weiter-)Entwicklung wissenschaftlich fundierter Konzepte als Grundlagen für Evaluation – wie z. B. das Dienstleistungsqualitäts- oder das Lebensqualitätskonzept – als besonders wichtig. Im Vergleich zu anderen Branchen, wie z. B. dem Bildungs- oder dem Gesundheits- und Sozialwesen, findet in der Entwicklungszusammenarbeit vergleichsweise wenig wissenschaftliches Knowhow („evidence base“) Eingang in die Evaluation.

Mit alternativen Evaluationskonzepten und der Bewertung von Entwicklungszusammenarbeit im Allgemeinen beschäftigt sich auch die Nord-Süd-Forschungszusammenarbeit. Dabei werden auch Perspektiven aus dem Globalen Süden in die Entwicklung der Konzepte einbezogen.