1 Präambel

Ein zentrales Element des gesetzlichen Auftrags der Unfallversicherung ist die Prävention. Denn "... Arbeitsunfälle und Berufskrankheiten sowie arbeitsbedingte Gesundheitsgefahren ..." sind "... mit allen geeigneten Mitteln ..." zu verhüten ^{[ 1]}.

Daher entwickelt die gesetzliche Unfallversicherung vielfältige Präventionsangebote für die Unternehmensleitungen, Führungskräfte sowie Versicherten ihrer Mitgliedsunternehmen und -einrichtungen. Ziel dieser Angebote ist die Sicherheit und Gesundheit der Beschäftigten bei der Arbeit.

Entscheidend ist für eine systematische betriebliche und überbetriebliche Präventionsarbeit, dass Präventionsmaßnahmen wirksam sind. Sie sollen die Zielgruppen erreichen und von diesen erfolgreich angewandt, genutzt bzw. umgesetzt werden. Die Überprüfung der Nutzung und Wirksamkeit von Präventionsmaßnahmen erfolgt durch Evaluationen.

Die DGUV Information 211-043 vertieft den DGUV Grundsatz 311-001 eines gemeinsamen Verständnisses zur Evaluation von Präventionsmaßnahmen in der gesetzlichen Unfallversicherung. Sie richtet sich an die Beschäftigten, die mit Evaluationsaufgaben bei den Unfallversicherungsträgern betraut sind, sowie an alle, die sich für Evaluation von Präventionsmaßnahmen interessieren und dient insbesondere dazu,

• den Begriff Evaluation einheitlich zu verwenden und im Kontext inhaltlich ähnlicher Begriffe einzuordnen,
• ein gemeinsames Verständnis weiterer zentraler Begriffe im Rahmen von Evaluationen zu etablieren,
• Ziele und Zwecke von Evaluationen festzulegen und zu beschreiben,
• die detaillierte Planung und Durchführung von Evaluationen nach einem standardisierten Ablauf zu unterstützen und
• eine Evaluationskultur in den Unfallversicherungsträgern und ihren Mitgliedsunternehmen zu verankern.

2 Definitionen

Evaluation im allgemeinen Sprachgebrauch bedeutet die sachgerechte Bewertung oder Beurteilung von Sachverhalten, Prozessen, Gegenständen oder Organisationseinheiten.

Evaluation im wissenschaftlichen Sinne ist die "explizite und systematische Verwendung [sozial]wissenschaftlicher Forschungsmethoden zur Beschreibung und Bewertung bestimmter Gegenstände oder Maßnahmen hinsichtlich Zielsetzung und Planung, Einrichtung und Durchführung sowie Wirksamkeit und Effizienz" ^{[ 2]}.

Erläuterung:
Evaluation in der Prävention umfasst somit nicht nur die systematische Untersuchung der Wirksamkeit und Effizienz einer Präventionsmaßnahme (z.B. Programme, Projekte, Leistungen, Rechtsvorschriften). Evaluation kann auch die Maßnahmenentwicklung, -implementierung und -durchführung in den Fokus nehmen und somit eine vorausschauende oder begleitende Beurteilung und Weiterentwicklung der zu evaluierenden Präventionsmaßnahme umfassen. Evaluationen basieren auf einem Evaluationskonzept und auf der Anwendung wissenschaftlicher Forschungsmethoden. Daher gehen sie über simple Bewertungen per Smiley oder Sternchen hinaus: Die erzielten Ergebnisse und Schlussfolgerungen einer Evaluation beruhen auf mit wissenschaftlichen Methoden empirisch gewonnenen, beobachteten und/oder gemessenen Daten, sind nachvollziehbar sowie reproduzierbar und werden anhand zuvor festgelegter messbarer Ziele bewertet.

Evaluationen haben eine klare Funktion. Sie beantworten vorher festgelegte Fragestellungen, sind methodenoffen, können quantitative und qualitative Aussagen treffen und intendierte und nichtintendierte Wirkungen messen.

Hinweis:
Evaluationen von Präventionsmaßnahmen der gesetzlichen Unfallversicherung und ihrer Mitgliedsunternehmen sollen möglichst von Expertinnen und Experten durch geführt und/oder begleitet werden, die

• in der Planung, Implementierung, Durchführung und Evaluation betrieblicher und überbetrieblicher Präventionsmaßnahmen erfahren sind,
• sich kontinuierlich zu Evaluationsmethodik und Evaluationsforschung weiterbilden,
• mit deskriptiven und analytischen statistischen Verfahren vertraut sind und
• über Grundlagenwissen zu Sicherheit und Gesundheit verfügen.

Diese Evaluatorinnen und Evaluatoren sind für den kompletten Ablauf der Evaluation verantwortlich - von der Klärung der Ziele der Evaluation über die Erstellung eines Evaluationskonzepts und dessen Umsetzung bis hin zur Bewertung und Darstellung der Ergebnisse.

3 Einordnung des Evaluationsbegriffs im Kontext anderer Begriffe und Konzepte

Der Begriff "Evaluation" hat einen engen Bezug zu oder sogar Überschneidungen mit anderen Begriffen, die oft fälschlicherweise als Synonym für Evaluation verwendet werden. Dazu zählen z.B. Controlling, Benchmarking, Qualitätssicherung, (Lern-)erfolgskontrolle, Rückmeldung, Befragung, Statistik, Analyse, Test und Bewertung. In diesem Kapitel sollen diese Begriffe kurz vorgestellt und ihr Bezug zur Evaluation geklärt werden.

Begriffe zur Bezeichnung von Methoden

Gängige Methoden, die auch bei Evaluationsvorhaben eingesetzt werden können, sind z.B. Befragung, Umfrage, Rückmeldung/Feedback, Lernerfolgskontrolle und Monitoring.

Viele dieser Methoden können als Methoden zur Wirksamkeitskontrolle eingesetzt werden. D. h., mithilfe der Methoden soll herausgefunden werden, ob die Maßnahme die Zielgruppe erreicht und dort die gewünschte Wirkung erzielt hat. Ein Beispiel ist die am Ende eines Seminars eingesetzte Lernerfolgskontrolle, mit der überprüft wird, ob die Teilnehmenden die verschiedenen Inhalte behalten haben.

Monitoring ist ein übergeordneter Begriff für verschiedene Arten der Überwachung von Systemen, Zuständen oder Vorgängen durch systematisches Erfassen, Protokollieren, Messen oder Beobachten. Durch Monitoring kann ermittelt werden, ob ein bestimmter Prozess wie gewünscht und geplant verläuft oder ob ggf. nachgesteuert werden muss. Monitoring und Dokumentation sind in der Prozessevaluation wesentlich ^{[ 3]}. Während Monitoring Hinweise darauf gibt, dass etwas nicht nach Plan läuft, kann die Evaluation Hinweise darauf geben, warum das so ist ^{[ 4]}.

Begriffe wie z.B. Statistik oder Test bezeichnen Methoden zur Datenanalyse in Evaluationen.

Begriffe zur Beschreibung von Instrumenten zur Vorbereitung zielsetzungsgerechter Entscheidungen

Auch Ergebnisse der folgenden Instrumente können u. U. in Evaluationen genutzt werden:

Controlling ist "ein Teilbereich des unternehmerischen Führungssystems, dessen Hauptaufgabe die Planung, Steuerung und Kontrolle aller Unternehmensbereiche ist. Im Controlling laufen die Daten des Rechnungswesen[s] und anderer Quellen zusammen" ^{[ 5]}. Konkret handelt es sich dabei um Kosten und Erlöse. Anhand dieser Informationen sollen die richtigen unternehmerischen Entscheidungen getroffen werden. Kosten und Erlöse können bei Evaluationen auch betrachtet werden, dienen aber nicht als alleinige Entscheidungsgrundlage.

Die Balanced Scorecard (BSC) dient als wichtiges Instrument der Unternehmenssteuerung: Sie setzt eine Unternehmensvision bzw. -strategie in entsprechende Ziele und Kennzahlen um und orientiert sich bei der Beurteilung der Umsetzung der Strategie ausschließlich an diesen Kennzahlen. Zur Umsetzung der Vision mittels einer Strategie werden kritische Erfolgsfaktoren aus vier verschiedenen Perspektiven heraus identifiziert ^{[ 6]}:

• Finanzwirtschaftliche Perspektive (Steigerung des Unternehmenswerts, Renditen, kurzfristige Gewinne etc.)
• Kundenperspektive (z.B. Kundenzufriedenheit, Kundenakquise, Gewinn von Marktanteilen in Marktsegmenten)
• Interne Perspektive (kritische Prozesse, in denen das Unternehmen Verbesserungsschwerpunkte sieht)
• Lern- und Entwicklungsperspektive (Identifikation von Infrastrukturen für langfristigen Erfolg des Unternehmens)

Dann werden Kennzahlen für jeden Erfolgsfaktor festgelegt, anhand derer die Umsetzung der Unternehmensstrategie bzw. die Zielerreichung gemessen werden kann. So werden bei diesem Management- bzw. Steuerungskonzept neben finanziellen auch andere Aspekte betrachtet. Auch werden Aktionsprogramme entwickelt, die die Zielerreichung fördern sollen. Kennzahlen können auch in quantitativen Evaluationen berücksichtigt werden.

Benchmarking ist ein Instrument der Wettbewerbsanalyse. Es handelt sich dabei um einen kontinuierlichen Vergleich mit (mehreren) Unternehmen hinsichtlich Produkten, Dienstleistungen, Prozessen oder Methoden ^{[ 7]}. Häufig werden im Vergleichsprozess die Dimensionen Qualität, Zeit und Kosten betrachtet. Deren Gewichtung kann unterschiedlich ausgeprägt sein und sich im Extremfall alleine auf die Kostenreduzierung beschränken. Ziel ist es, die Leistungslücke zum sogenannten Klassenbesten (Unternehmen, die Prozesse, Methoden etc. hervorragend beherrschen) systematisch zu schließen. Es geht darum, voneinander zu lernen, sich an "den Besten" zu orientieren und Handlungsempfehlungen zur Prozessoptimierung anhand der folgenden Fragen zu erarbeiten: Welche Unterschiede bestehen? Warum bestehen sie? Welche Verbesserungsmöglichkeiten gibt es?

Es handelt sich dabei eher um eine strukturierende Methode, anhand derer weitere Maßnahmen abgeleitet werden können. Eine Bewertung der Maßnahmen erfolgt i. d. R. weniger. Die gesetzliche Unfallversicherung vergleicht beispielweise trägerübergreifend die umgesetzten Qualifizierungsprozesse und erarbeitet anhand von Kennzahlen in den Dimensionen Qualität, Zeit und Kosten Handlungsempfehlungen für effektive und wirtschaftliche Verfahren ^{[ 8]}.

Begriffe aus der Qualitätssicherung

Qualitätssicherung umfasst "als Bestandteil des Qualitätsmanagements alle organisatorischen und technischen Maßnahmen, die vorbereitend, begleitend und prüfend der Schaffung und Erhaltung einer definierten Qualität eines Produkts oder einer Dienstleistung dienen" ^{[ 9]}. Hier können Evaluationsergebnisse mit einfließen bzw. herangezogen werden.

Audit (auch Auditierung) ist der angloamerikanische Fachausdruck für "Revision" ^{[ 10]}. Es handelt sich um einen Begutachtungsprozess durch von dem zu prüfenden Verantwortungsbereich unabhängige Personen. Die gesetzliche Unfallversicherung ist häufig an der Auditierung von Arbeitsschutzmanagement-Systemen von Unternehmen beteiligt. Am Ende eines Audits steht oft eine Zertifizierung, aber auch die Prüfung sowie Vergabe eines Gütesiegels. Die Anforderungen (z.B. vertragsgemäße Vereinbarungen, Standards), die erfüllt sein müssen, werden dabei im Vorfeld genau definiert. Audits sind fester Bestandteil von Qualitätsmanagementsystemen.

Gemeinsam ist den Instrumenten zur Vorbereitung zielsetzungsgerechter Entscheidungen eine starke Orientierung an Indikatoren bzw. Kennzahlen. Die Verwendung von Kennzahlen ermöglicht oftmals eine quantitative Bewertung.

Evaluationen betrachten sehr viel stärker den Weg zur Zielerreichung. Sie überprüfen, ausgehend von einem logischen Modell (Wirkungsmodell), die Mechanismen der Zielerreichung. Dazu nutzen Evaluationen qualitative und/oder quantitative Methoden (vgl. Kap. 8.7.2).

Überschneidungen zwischen Evaluations- und Forschungsaktivitäten

Ein weiterer Begriff, der oft in Zusammenhang mit dem Begriff Evaluation verwendet wird, ist Forschungsprojekt. Eine Evaluation kann, muss aber nicht, Bestandteil eines Forschungsprojekts sein. Ob ein Forschungsprojekt eine Evaluation umfasst, hängt von dessen Zielsetzung ab. I. d. R. zielt ein Forschungsprojekt darauf ab, neues Wissen oder neue Methoden zu generieren und die Gültigkeit von Erkenntnissen für und die Anwendbarkeit von Methoden auf neue Zielgruppen zu überprüfen. Bezieht sich ein Forschungsprojekt auf die Entwicklung einer Maßnahme in Bezug auf ein definiertes Ziel, so umfasst ein Forschungsprojekt i. d. R. den Nachweis der theoretischen Wirksamkeit dieser Maßnahme hinsichtlich des Ziels (z.B. reduziert der Einsatz von staubarmen Mehlen allergische Atemwegserkrankungen?). Eine Evaluation hingegen prüft, ob eine theoretisch erfolgreiche Maßnahme auch praktisch erfolgreich ist, indem sie die Zielgruppe erreicht und dort erfolgreich angewandt wird. In der Praxis bedeutet dies am Beispiel: "Ist das Mehl auf dem Markt verfügbar?" "Wird es gekauft und richtig angewendet?" "Erreicht es das Ziel?" In einem Forschungsprojekt geht es also primär darum festzustellen, ob eine Maßnahme theoretisch wirksam ist oder wie sie verändert werden muss, um wirksam zu sein. In einer Evaluation geht es hingegen um die Frage, ob eine theoretisch wirksame Maßnahme auch praktisch ihre Wirkung entfaltet.

Abgrenzung von Evaluations- gegenüber Aufsichtstätigkeiten

Auch der Begriff der Aufsichtstätigkeit wird im Kontext der gesetzlichen Unfallversicherung mit dem Begriff der Evaluation in Zusammenhang gebracht. Die Aufsichtspersonen der Unfallversicherungsträger haben nach § 17 SGB VII den hoheitlichen Auftrag, die Mitgliedsunternehmen zu überwachen und zu beraten ^{[ 1]}. Der umfassende Überwachungsauftrag bezieht sich auf das gesamte Aufgabenspektrum der Prävention und erfasst somit alles Handeln und Unterlassen, welches mit der Prävention in Zusammenhang steht. Übergeordnetes Ziel von Betriebsbesichtigungen ist, sich vor Ort ein Bild von Sicherheit und Gesundheit bei der Arbeit zu machen. Unternehmen werden hinsichtlich möglicher Gefährdungen und Belastungen überprüft, die zu Arbeitsunfällen, Berufskrankheiten und anderen arbeitsbedingten Erkrankungen führen können. Als Bewertungsgrundlage dienen zahlreiche Regelwerksvorgaben. Es wird insbesondere überprüft, ob und in welchem Umfang die verbindlichen Vorgaben eingehalten bzw. umgesetzt werden. Zugleich werden die versicherten Unternehmerinnen und Unternehmer zu diesen sowie weiteren Themen beraten und somit aktiv bei der Umsetzung ihrer vielfältigen rechtlichen Verpflichtungen unterstützt. Mit diesem Vorgehen soll letztlich eine dauerhafte Gefährdungsbeseitigung oder zumindest eine Minimierung des daraus resultierenden Restrisikos erzielt werden. Die technische Prüfung fokussiert sich auf die sicherheitstechnische Prüfung von Maschinen und Geräten. Wird sie vom Aufsichtsdienst ausgeführt, ist sie eine Teilaufgabe im Rahmen der Aufsichtstätigkeit. Die Aufsichtstätigkeit ist demnach keine Evaluation, sondern eher vergleichbar mit einem Audit, bei dem eine Überprüfung der betrieblichen Situation durch eine vom Betrieb unabhängige Person erfolgt.

4 Typische Evaluationsgegenstände im Kontext der gesetzlichen Unfallversicherung

Der gesetzliche Auftrag der Unfallversicherung ist es, mit allen geeigneten Mitteln Arbeitsunfälle, Berufskrankheiten sowie arbeitsbedingte Gesundheitsgefahren zu verhüten und für eine wirksame Erste Hilfe zu sorgen ^{[ 1]}.

Daher bieten die Unfallversicherungsträger ihren Mitgliedsunternehmen und Versicherten ein weites Spektrum vielfältigster Maßnahmen und Angebote im Bereich der Prävention an. Um die Ziele von Sicherheit und Gesundheit bei der Arbeit und auf dem Arbeitsweg für möglichst viele Versicherte zu erreichen, werden träger- und branchenspezifische Angebote und Maßnahmen entwickelt, die den zehn "Präventionsleistungen der Unfallversicherungsträger" ^{[ 11]} zugeordnet werden können (vgl. Abbildung 1).

Besonders wichtig ist angesichts begrenzter personeller und finanzieller Ressourcen der Unternehmen, Dienstleistenden und Unfallversicherungsträger der Nachweis über die Wirksamkeit von Präventionsmaßnahmen. Evaluation dient in diesem Kontext als zentrales Instrument zur Steuerung und Qualitätssicherung.

Evaluationen in der gesetzlichen Unfallversicherung haben nicht eine dieser zehn Präventionsleistungen selbst zum Gegenstand, sondern zielen immer auf die den Präventionsleistungen zugeordneten konkreten Präventionsangebote und -maßnahmen. So können zum Beispiel für die Präventionsleistung "Information, Kommunikation und Präventionskampagnen" Kampagnen, Filme, Arbeitshilfen und Broschüren evaluiert werden.

In der Prävention werden sowohl einzelne als auch komplexe Maßnahmen evaluiert, um deren Zielerreichung zu prüfen. Welche spezifischen Ziele im Einzelnen mit einer Maßnahme angestrebt werden, z.B. Bekanntheitsgrad, Relevanz für betriebliche Aktivitäten, Verhaltensänderung, kann je nach Unfallversicherungsträger, Branche und Anlass für die Projektierung einer solchen Maßnahme unterschiedlich sein.

Im Folgenden werden die einzelnen Präventionsleistungen kurz erläutert.

Tabelle 1 führt beispielhaft für jede Präventionsleistung mögliche Präventionsangebote und -maßnahmen auf. Mithilfe von Evaluationen kann geprüft werden, ob die jeweilige Maßnahme ihre vorgegebenen spezifischen Ziele erreicht hat. In der Regel sollen Antworten auf folgende Fragen gefunden werden:

• Wird die Maßnahme/das Produkt von der Zielgruppe genutzt?
• Wie wird die Maßnahme/das Produkt von der Zielgruppe bewertet? Wie wird es akzeptiert? Ist die Zielgruppe zufrieden?
• Hat die Zielgruppe durch die Maßnahme/das Produkt ihr Wissen/ihre Kenntnisse erweitert?
• Welche Veränderungen bezogen auf das Verhalten der Zielgruppe konnten erreicht werden?
• Welche Auswirkungen entstehen dadurch in den Mitgliedsunternehmen? Wie verändern sich die Verhältnisse in den Mitgliedsunternehmen? Welche Auswirkungen hat die Maßnahme/das Produkt auf betriebliche Kennzahlen?

Abb. 1 Präventionsleistungen der Unfallversicherungsträger
(Vergleich Quelle: Präventionsleistungen der Unfallversicherungsträger der Deutschen Gesetzlichen Unfallversicherung. Stand Dezember 2016 - aktualisiert Mai 2019. Hrsg.: Deutsche Gesetzliche Unfallversicherung e. V. (DGUV), Berlin 2016 https://publikationen.dguv.de/dguv/pdf/10002/12471.pdf)

Tabelle 1: Präventionsleistungen und mögliche Evaluationsgegenstände

5 Arten von Evaluationen

In Anlehnung an Bortz und Döring (2016) werden verschiedene Arten von Evaluationen unterschieden ^{[ 12]}. Die Autoren schlagen dabei folgende Einteilungskriterien vor:

• die Rollenverteilung zwischen den Evaluierenden und den Evaluierten
• die Funktionen von Evaluationen
• die Aspekte eines Evaluationsgegenstandes, die zu einem bestimmten Zeitpunkt untersucht werden und
• die in der jeweiligen Evaluation genutzte Art der Datenerhebung und -auswertung.

Die Einteilung bietet eine Hilfestellung, welche Arten von Evaluationen in einer konkreten Evaluation zum Einsatz kommen. Denn i. d. R. werden mehrere der nachfolgend genannten Arten von Evaluationen kombiniert. Welche Arten von Evaluationen angewandt werden können, hängt auch vom Zeitpunkt ab, zu dem die Evaluatorinnen und Evaluatoren in ein Projekt eingebunden werden (bereits zur Maßnahmenentwicklung, vor Implementierung der Maßnahme, während der Maßnahmendurchführung oder erst danach).

Erläuterungen zu den folgenden Begrifflichkeiten finden sich ebenfalls im Glossar der Gesellschaft für Evaluation (DeGEval) ^{[ 13]}.

Evaluationsarten hinsichtlich der Rolle der Evaluierenden

Interne und externe Evaluation
Abhängig von der Rolle der Evaluatorinnen und Evaluatoren lassen sich interne von externen Evaluationen unterscheiden. Wird die Präventionsmaßnahme von Personen evaluiert, die aus der gleichen Einrichtung kommen wie diejenigen, die die Präventionsmaßnahme gestaltet und durchgeführt haben, handelt es sich um eine interne Evaluation. Beispielsweise setzt das Kampagnenteam der DGUV eine Kampagne um und das Evaluationsteam der DGUV evaluiert diese Kampagne.

Eine spezifische Form der internen Evaluation ist die Selbstevaluation. Selbstevaluation liegt vor, wenn die Bewertung von Personen vorgenommen wird, die auch selbst an der Gestaltung der Präventionsmaßnahme beteiligt sind.

Von externer Evaluation (Fremdevaluation) wird gesprochen, wenn Expertinnen und Experten mit der Beschreibung und Bewertung beauftragt sind, die nicht zur Firma oder Einrichtung gehören. Der Evaluationsauftrag wird dann z.B. an einen Dienstleistenden außerhalb des eigenen Unfallversicherungsträgers gegeben.

Externe Evaluierende haben Expertise in Evaluationen, oft mehr Erfahrung aus dem Vergleich mit anderen, sind neutral und bringen neue Sichtweisen ein. Interne Evaluierende kennen den eigenen strukturellen Aufbau, die Präventionsthemen und -maßnahmen sowie die Zielgruppen besser und erkennen so leichter wichtige Aspekte im Detail.

Die Entscheidung, ob eine Evaluation intern oder extern durchgeführt wird, kann politisch begründet sein. In manchen Fällen kann beispielsweise die Akzeptanz bei der Zielgruppe oder den Auftraggebenden größer sein, wenn die Evaluation extern durchgeführt wird.

Entscheidend für die Wahl zwischen interner und externer Evaluation ist immer auch der Umfang der geplanten Evaluation sowie die vorhandene sozialwissenschaftliche Expertise im eigenen Haus. Ist der Umfang groß und kaum oder keine sozialwissenschaftliche Expertise vorhanden, sollte die Evaluation unbedingt durch eine externe Stelle durchgeführt werden. Kleinere Evaluationen können häufig auch intern und/oder mit Begleitung einer externen Stelle durchgeführt werden, insbesondere dann, wenn das entsprechende Knowhow vorhanden ist.

Evaluationsarten hinsichtlich der Funktion von Evaluationen

Formative Evaluation und summative Evaluation
Eine formative Evaluation erfüllt eine Optimierungsfunktion und erfolgt prozessbegleitend zur Entwicklung und Implementierung einer Maßnahme. Durch diese begleitende Evaluation werden die Entwicklung und Durchführung der Maßnahme sowie deren Wirkungen fortlaufend kontrolliert und dokumentiert. Es werden Stärken und Schwächen identifiziert und wenn nötig Veränderungen initiiert. Die formative Evaluation wird zur kontinuierlichen Verbesserung eines Maßnahmenkonzepts und seiner Umsetzung angewandt sowie zur Identifikation von Wirkungsketten. Der Fokus liegt auf der prozessbegleitenden Gestaltung. Die formative Evaluation bedient sich häufig qualitativer Methoden, um Änderungsansätze, -möglichkeiten und -wünsche zu identifizieren ^{[ 12]}.

Die summative Evaluation erfüllt eine Kontroll- und Legitimationsfunktion. Es geht darum, eine abschließende, zusammenfassende Bilanz zu einem Evaluationsgegenstand zu ziehen. Dabei kann z.B. die Wirksamkeit (Effektivität) einer Präventionsmaßnahme bestimmt werden (Wurden die Ziele der Maßnahme erreicht?) und/oder die Frage untersucht werden, ob der Aufwand der Präventionsmaßnahme im Verhältnis zur Zielerreichung steht (Effizienz). Idealerweise erfolgt die Bilanzierung durch den Vergleich eines Zustands vor der Maßnahme und nach der Maßnahme. So kann die summative Evaluation auch eine Entscheidungsfunktion haben, nämlich dann, wenn ihre Ergebnisse entscheidend dafür sind, ob die Maßnahme fortgesetzt oder beendet wird.

Evaluationsarten hinsichtlich dessen, welche Aspekte des Evaluationsgegenstandes zu welchem Zeitpunkt untersucht werden

Konzeptevaluation
Bei einer Konzeptevaluation wird das Konzept einer Präventionsmaßnahme vor ihrer flächendeckenden Einführung beurteilt, z.B. der Plan oder das Modell einer Präventionsmaßnahme, der/das beschreibt, wie sie aufgebaut ist und wie sie idealerweise umgesetzt werden sollte (z.B. das Konzept einer neuen Broschüre).

Prozessevaluation (auch Durchführungs- oder Implementierungsevaluation)
Die Prozessevaluation ermöglicht die Erfassung des Kontexts einer Präventionsmaßnahme. Der Kontext meint dabei Faktoren im Umfeld der Maßnahme, die die Implementierung und Wirkung beeinflussen können, beispielsweise politische, rechtliche, organisationale, soziale oder kulturelle Aspekte oder Ereignisse. Die Prozessevaluation umfasst auch die Dokumentation der Umsetzungsgenauigkeit bzw. -treue eines Programms (Fidelity). In Anlehnung an Century, Rudnick und Freeman (2010) ist Fidelity definiert als "The extent to which the critical components of an intended program are present when that program is enacted." (Das Ausmaß der Anwesenheit kritischer/ zentraler Komponenten eines beabsichtigten Programms, wenn das Programm umgesetzt wird.) ^{[ 14]}. Eine Prozessevaluation ist auch dann nötig, wenn überprüft werden soll, wie/über welche Schritte/Wirkungskette eine Maßnahme wirkt (Wirkungsevaluation). Mithilfe einer Wirkungsevaluation können nicht nur die impliziten Wirkmechanismen der evaluierten Maßnahme analysiert und offengelegt werden. Es kann auch untersucht werden, welche u. U. nichtintendierten Wirkungen die Implementierung des Evaluationsgegenstandes zur Folge hat ^{[ 12]}.

Ergebnisevaluation
Bei einer Ergebnisevaluation werden die von einer Maßnahme erzielten Effekte im Hinblick auf die von ihr angestrebten Ziele und somit ihre generelle Wirksamkeit untersucht.

In der Praxis werden die Ergebnisevaluation und die Prozessevaluation häufig kombiniert ^{[ 15; 16]}. Die Evaluierenden können in der Ergebnisevaluation gefundene Effekte durch die Prozessevaluation leichter interpretieren, da sie den Einfluss ggf. vorhandener Störgrößen auf die gefundenen Effekte besser abschätzen können als beim

Verzicht auf eine Prozessevaluation. Werden die Maßnahmenimplementierung und Ereignisse während der Maßnahmendurchführung nicht dokumentiert, entsteht eine "Black Box" hinsichtlich der in der Ergebnisevaluation gefundenen Effekte. Können durch die Ergebnisevaluation keine Effekte der Maßnahme gefunden werden, könnte geschlussfolgert werden, dass die Maßnahme wirkungslos ist, obwohl sie nur inadäquat implementiert wurde (Implementierungsfehler). Genauso könnte bei gefundenen Effekten geschlossen werden, dass sie durch die Maßnahme verursacht sind, obwohl ein anderes Ereignis während der Maßnahmendurchführung dafür verantwortlich war (Theoriefehler). Die Prozessevaluation kann also falsche Schlussfolgerungen verhindern. Daher erhöht die zusätzliche Prozessevaluation gegenüber einer reinen Ergebnisevaluation die interne Validität der Evaluation. Eine Prozessevaluation gibt darüber hinaus Hinweise auf die Generalisierbarkeit einer Maßnahme: Unter welchen Bedingungen und für wen funktioniert die Maßnahme? Was waren Hindernisse, was Verstärker? ^{[ 16]}. Häufig sehen die konkrete Konzeption einer Evaluation und die ihr zugrundeliegenden Fragestellungen sowohl die Betrachtung der Konzept- als auch der Umsetzungs- und Wirkungsebene eines Evaluationsgegenstandes vor ^{[ 12]}.

Ex-ante Evaluation und Ex-post Evaluation
Ex-ante und Ex-post sind Begriffe, die unabhängig vom Evaluationsgegenstand beschreiben, zu welchem Zeitpunkt eine Evaluation durchgeführt wird. In einer sogenannten Ex-ante Evaluation, die vor der Durchführung einer Präventionsmaßnahme auf Basis von Konzepten, Anträgen oder Plänen vorgenommen wird, können Aspekte wie Bedarf, Realisierbarkeit oder Erfolgsaussichten beurteilt werden.

Bei einer Ex-post Evaluation, wird eine Präventionsmaßnahme retrospektiv und nach Beendigung beurteilt. Dabei können allerdings auch Daten einfließen, die vor oder während der Programmdurchführung erhoben wurden. Der Fokus liegt auf der Nachhaltigkeit und den langfristigen Wirkungen einer Präventionsmaßnahme.

Evaluationsarten hinsichtlich der genutzten Art der Datenerhebung und -auswertung

Quantitative, qualitative und Mixed-Methods-Evaluationen
Qualitative Evaluationsstudien nutzen einen qualitativinterpretativen Ansatz der Datenerhebung und -auswertung. Quantitative Evaluationsstudien nutzen einen quantitativstatistischen Ansatz. Diese Unterscheidung hat in der Praxis jedoch kaum Relevanz. Meistens werden in Evaluationsstudien sowohl qualitative als auch quantitative Daten erhoben ^{[ 12]}.

Weitere Evaluationsarten

Input-, Output-, Outcome- und Impact- Evaluation
Bei Input- bzw. Strukturevaluationen werden persönliche, materielle und organisatorische Ressourcen bewertet, die den Leistungserbringern (z.B. den Unfallversicherungsträgern) zur Verfügung stehen und die in ein Programm (z.B. eine Präventionsmaßnahme) investiert werden. In der Prävention gelten die Trägerschaft, die Projektorganisation, die organisatorische und personelle Vernetzung, die gegebene Organisationsstruktur, die Qualifikation der Mitarbeitenden, der Leistungsauftrag sowie die finanziellen und personellen Ressourcen als mögliche Indikatoren.

Eine Output-Evaluation meint hingegen die Beschreibung oder Untersuchung der zählbaren Dienstleistungen und Produkte (Outputs) eines zu evaluierenden Programms, über die spezifische Wirkungen erreicht werden sollen (z.B. die Outputs/Komponenten einer Präventionskampagne).

Als Outcome-Evaluation wird eine Untersuchung der Auswirkungen (Outcomes) eines Evaluationsgegenstands auf der Ebene der Zielgruppe verstanden.

Von Impact-Evaluation spricht man, wenn eine Evaluation die Wirkung einer Maßnahme hinsichtlich betrieblich relevanter Kennzahlen oder auf gesellschaftlicher Ebene betrachtet.

Globale und analytische Evaluation
Bei einer globalen Evaluation wird der Fragestellung oder dem Evaluationsgegenstand eine globale Beurteilung zugeordnet. Ein Beispiel für eine globale Evaluation ist eine Zufriedenheitsabfrage am Ende eines Seminars.

Eine analytische Evaluation liegt vor, wenn auch Einzelkomponenten oder Einzelheiten des Evaluationsgegenstandes bewertet werden. Dabei lassen sich sowohl Komponenten (z.B. die Vorbereitung oder die Durchführung einer Maßnahme) als auch Dimensionen (z.B. die Schwierigkeit eines Seminars oder die Übertragbarkeit auf das eigene Arbeitsumfeld) herausgreifen. Die Beurteilung der einzelnen Komponenten oder Dimensionen können in einer Gesamtbewertung zusammengeführt oder einzeln für sich betrachtet werden.

Transferevaluation
Von Transferevaluation spricht man, wenn der Fokus der Evaluation auf der Begleitung oder Überprüfung des Transfers von Wissen und Können in die Praxis liegt, z.B. aus einem Seminar in die berufliche Praxis.

Meta-Evaluation
In einer Meta-Evaluation ist der Evaluationsgegenstand die Evaluation selbst. Sie kann begleitend oder nach Abschluss des Evaluationsprozesses (retrospektiv) durchgeführt werden. Eine Meta-Evaluation beurteilt z.B. die Qualität von Evaluationsprozessen und -ergebnissen. Mögliche Kriterien für diese Beurteilung sind die Standards für Evaluation, die von der Gesellschaft für Evaluation entwickelt wurden [vgl. ^13].

Der Begriff der Meta-Evaluation sollte nicht mit dem Begriff der Meta-Analyse verwechselt werden. Eine Meta-Analyse (auch systematisches Review) ist eine (statistische) Zusammenfassung der Ergebnisse mehrerer Studien zu einer spezifischen Forschungsfrage.

6 Vergleichsmaßstäbe in Evaluationen

Bei der Evaluation von Präventionsmaßnahmen werden Referenzen im Sinne von Vergleichsmaßstäben herangezogen, die eine Bewertung der Präventionsmaßnahmen auf Basis der in der Evaluation erzielten Ergebnisse ermöglichen. Diese Vergleichsgrößen bieten in der Planungsphase eine Orientierung und in der Abschlussphase eine Hilfe bei der Interpretation der Ergebnisse.

In Anlehnung an Schmidt ^{[ 17]} können folgende Referenzgrößen möglich sein. Diese sind nicht trennscharf, d. h., sie können einzeln oder kombiniert herangezogen werden. Die Auswahl der Referenzgrößen bestimmt die Ausrichtung der Evaluation.

Vergleich mit anderen Präventionsmaßnahmen

Evaluationsergebnisse zur Durchführung oder Wirksamkeit einer Präventionsmaßnahme werden mit Ergebnissen ähnlicher Präventionsmaßnahmen verglichen. Es wird keine absolute Bewertung durchgeführt, sondern eine relative. Beispiel: Die Zufriedenheit mit dem Seminar x und die Bewertung des Transfererfolgs von Seminar x werden mit den Ergebnissen zur Zufriedenheit mit dem Seminar y und dem Transfererfolg von Seminar y verglichen.

Vergleich zwischen angestrebten Zielen und Zielerreichung

Die Wirksamkeit der Präventionsmaßnahme wird daran festgemacht, ob die Ziele der Präventionsmaßnahme erreicht wurden. Beispiel: Erreicht eine Präventionskampagne die Kampagnenziele, die vor Beginn der Kampagne im Fachkonzept festgeschrieben wurden, gilt sie als erfolgreich.

Vergleich von Ergebnissen zu unterschiedlichen Messzeitpunkten

Es werden zu verschiedenen Messzeitpunkten, z.B. vor, während, unmittelbar nach Abschluss sowie Monate nach Abschluss der Durchführung einer Präventionsmaßnahme Daten erhoben, die dann miteinander verglichen werden können. Hier lässt sich der relationale Fortschritt ermitteln. Beispiel: Die Befragung zu einer neuen Ausbildung erfolgt vor Beginn der Ausbildung, zwischen den Ausbildungsmodulen, am Abschluss der Ausbildung und acht Monate nach Ausbildungsende. Es werden jeweils die gleichen Daten erhoben, sodass Veränderungen bei den Teilnehmenden, z.B. bezüglich ihrer Kompetenz und ihren Fertigkeiten, identifiziert werden können.

Vergleich mit normativ gesetzten oder auf Basis theoretischer Modelle abgeleiteter Qualitätsstandards

Hier wird ermittelt, ob eine Präventionsmaßnahme normativ gesetzte oder aus theoretischen Modellen abgeleitete Qualitätsstandards erreicht. Beispiel: In Vorschriften der gesetzlichen Unfallversicherung sind bestimmte Normen festgeschrieben. Mittels Evaluation kann festgestellt werden, ob diese Normen durch die Umsetzung der Vorschrift im Unternehmen erreicht werden.

7 Häufig genutzte Evaluationsmodelle

Für eine Reihe von Präventionsmaßnahmen lassen sich Evaluationsmodelle aus der Forschungsliteratur finden, die als Grundlage dienen. Sie lassen sich sowohl auf die Wirksamkeitsanalyse als auch auf die Qualitätsmessung von Präventionsmaßnahmen anwenden und können spezifisch angepasst werden. Je nach Evaluationskonzept und Evaluationsgegenstand wird auf unterschiedliche Evaluationsmodelle zurückgegriffen.

Es wird empfohlen bei Evaluationen auf der Basis eines Evaluationsmodells zu arbeiten. Evaluationsmodelle bieten einen Leitfaden zur Vorgehensweise bei der Evaluation. Sie lassen sich hinsichtlich bestimmter Aspekte mit anderen Modellen kombinieren.

Einige wenige Evaluationsmodelle, wie das CIPP-Modell von Stufflebeam ^{[ 18]} und das Dynamic Integrated Evaluation Model von Thiele Schwarz, Lundmark und Hasson ^{[ 19]}, betrachten die Maßnahmenentwicklung und Evaluation als gemeinsamen Prozess und beginnen mit der Bedarfs- und Umfeldanalyse. Nach der Beschreibung dieser beiden Modelle schließt sich die Beschreibung weiterer häufig genutzter Evaluationsmodelle an.

CIPP-Modell von Stufflebeam ^{[ 18]}

Stufflebeam sieht den Nutzen von Evaluation vor allem darin, Maßnahmen zu verbessern. Die Überprüfung der Wirksamkeit steht bei ihm weniger im Vordergrund: "evaluation's most important purpose is not to prove, but to improve" ^{[ 18]}. Das CIPP-Modell beschreibt, welche vier Phasen im Evaluationsprozess zu berücksichtigen sind:

Evaluation des Kontexts (C)
Die Kontextevaluation dient der Bedarfsanalyse: Was ist der Bedarf der Organisation? Was sollen Ziele der Maßnahme sein? Welche Rahmenbedingungen für Maßnahmen bestehen (Ressourcen und Problemlagen)? Wer ist die Zielgruppe? Ergebnis der Kontextevaluation ist ein verbessertes Verständnis der durch die Maßnahme erwarteten Ziele. Als Methode bietet sich die Stakeholderanalyse an.

Inputevaluation (I)
Die Inputevaluation dient dazu verschiedene Ablaufpläne der Durchführung und Umsetzung (Implementierung) der Maßnahme gegeneinander abzuwägen. Bei der Entscheidung für die beste Verfahrensalternative werden vorhandene Ressourcen und strukturelle Rahmenbedingungen berücksichtigt und über die Ressourcenverteilung entschieden. Es geht darum, die beste (realisierbarste, wirtschaftlichste, erfolgversprechendste) Implementierung der Maßnahme zu ermitteln.

Prozessevaluation (P)
Die Prozessevaluation überwacht und dokumentiert die Implementierung und Durchführung der Maßnahme und vergleicht sie mit dem Ablaufplan und den Zielen der Maßnahme. Die kontinuierliche Überwachung ermöglicht korrektives Eingreifen. Die Dokumentation ist essentiell zur Interpretation der Maßnahmenergebnisse, d. h. zur Erklärung von Erfolgen und Misserfolgen der Maßnahme/ des Programms.

Produktevaluation (P)
Die Produktevaluation umfasst vier Aspekte: Die Einflussevaluation prüft, ob die Maßnahme die Zielgruppe erreicht hat und wie die Zielgruppe die Maßnahme einschätzt. Die Effektivitätsevaluation überprüft die Wirksamkeit der Maßnahme im Sinne der klassischen Wirksamkeitsprüfung. Die Nachhaltigkeitsevaluation prüft, ob der Nutzen für die Zielgruppe anhaltend ist. Die Transferevaluation prüft, welche Faktoren den Transfer in andere Bereiche begünstigen (Was waren Erfolgsfaktoren, was waren hinderliche Umstände, was hat zu Misserfolg geführt und warum?) ^{[ 18; 20]}.

Das CIPP-Modell hat sich auch für die Evaluation von Maßnahmen der Prävention und Gesundheitserhaltung bewährt.

Das Dynamische, Integrierte Evaluationsmodell (DIEM) von Thiele Schwarz, Lundmark und Hasson ^{[ 19]}

Bei Interventionen im betrieblichen Kontext wird zunehmend Wert auf partizipative Entwicklung und Einpassung der Maßnahme in betriebliche Strukturen sowie Abläufe gelegt. Durch die enge Zusammenarbeit mit den betrieblichen Akteuren erhöht sich die Akzeptanz der und die Identifikation mit der Maßnahme. Gelingt die Integration in betriebliche Abläufe und Strukturen, so gehen von Thiele Schwarz, Lundmark und Hasson ^{[ 19]} davon aus, dass der durch die Intervention angestoßene Veränderungsprozess eher kontinuierlich als episodisch verläuft. Daher schlagen sie ein Evaluationsmodell für betriebliche Kontexte vor, das den kontinuierlichen Charakter der Veränderung durch die Intervention aufgreift und bereits vor der Maßnahmenkonzeption ansetzt. Ihr Evaluationsmodell umfasst acht Schritte (siehe Abbildung 2). Die ersten vier bilden die Planungsphase; die letzten vier die Phase der Veränderung nach Maßnahmenimplementierung. Damit kommt im DIEM dem Prozess der Maßnahmenplanung und -(weiter)entwicklung (und über die Maßnahmenkontextualisierung auch dem Kontext) eine größere Rolle zu als im später beschriebenen Evaluationszirkel. Dort wird die Maßnahmenkonzeption als der Evaluationsplanung vorangehend betrachtet.

Abb. 2 Das Dynamische, Integrierte Evaluationsmodell
(Quelle: von Thiele Schwarz, U.; Lundmark, R.; Hasson, H.: The Dynamic Integrated Evaluation Model (DIEM): Achieving Sustainability in Organizational Intervention through a Participatory Evaluation Approach. Stress and Health 32 (2016) Nr. 4, S. 285-293)

Bestimmung betrieblicher Ziele und Ergebnisse (Schritt 1)
Der erste Schritt dient der Bestimmung von übergeordneten, meist langfristigen Zielen und Ergebnissen, die dem Betrieb/der Einrichtung wichtig sind (z.B. hinsichtlich Produktivität, Effizienz, Sicherheit etc.). Sie bilden den Rahmen und Kontext für eine Veränderung.

Bestimmung der Maßnahmenziele sowie gewünschter Ergebnisse der Maßnahme (Schritt 2)
Welche kurz- und langfristigen Ergebnisse sollen in Abhängigkeit von betrieblichen Zielen und gewünschten betrieblichen Ergebnissen durch die Maßnahme erreicht werden?

Zur Beantwortung der Fragen in Schritt 1 und 2 sollten im Betrieb/in der Einrichtung existierende Daten (z.B. aus Benchmarking, Gefährdungsbeurteilungen etc.) und Wissen genutzt werden. Auch aus Wissens- und Datenlücken lassen sich Maßnahmenziele ableiten. Hierfür gilt es, Gespräche mit allen Stakeholdern zu führen. Ein gemeinsames Verständnis über betriebliche Ziele und Ergebnisse sowie die Maßnahmenziele muss erreicht werden. Die Maßnahmenziele sollten Arbeitgeber- und Arbeitnehmerziele enthalten, um das Commitment aller zu erhöhen.

Gemeinsame Entwicklung des geplanten Maßnahmenprototyps (Schritt 3)
Ausgehend von den gewünschten Maßnahmenzielen überlegen die Stakeholder z.B. in einem Workshop, durch welche Aktivitäten das jeweilige Maßnahmenziel erreicht werden könnte (Welche Aktivitäten sind schon realisiert? Welche müssten neu dazu kommen? Welche müssten verstärkt werden? Welche Aktivitäten sind kontraproduktiv?). Es entsteht ein logisches Modell (bzw. Wirkungsmodell). Nach der Sammlung priorisieren die Stakeholder, welche Aktivitäten den größten Einfluss haben, am besten umgesetzt werden können und die positivsten Nebeneffekte haben. Nach Einigung auf die wichtigsten Aktivitäten wird konkretisiert: Wie sieht die Intervention genau aus und wann wird sie wie oft, wo und mit wem durchgeführt?

Kontextualisierung des Maßnahmenprototyps (Schritt 4)
Der betriebliche Kontext muss vor der Implementierung der Maßnahme genau analysiert werden. Zum einen steigt dadurch die Kenntnis der unabhängigen Variablen im Evaluationsprozess. Zum anderen kann der Maßnahmenprototyp dadurch so angepasst werden, dass die Maßnahme im vorliegenden Kontext so effektiv wie möglich wirken kann. Damit erfolgen in DIEM Modifikationen hinsichtlich der in der Literatur diskutierten Fragen "what works for whom under which circumstances?" (Was funktioniert für wen unter welchen Bedingungen?). Ungünstige Kontexte sollen als Erklärung für das Scheitern von Maßnahmen entfallen und die "Readiness for change" (Bereitschaft für Veränderung) erhöht werden.

Konkret erfolgt die Kontextualisierung der Maßnahme mithilfe der betrieblichen Stakeholder. Ausgehend vom logischen bzw. Wirkungsmodell (vgl. Kap. 8.6.2) überlegen sie, wie jede Maßnahmenaktivität in ihrem betrieblichen Kontext konkret umgesetzt würde und wodurch Maßnahmeneffekte gehemmt/verstärkt werden könnten. So erschließt sich z.B., ob Maßnahmenaktivitäten auf anderen betrieblichen Ebenen verstärkt werden müssten, um sich durchsetzen zu können. Beispielsweise könnte eine Erkenntnis sein, dass Führungskräfte noch stärker auf die Maßnahme vorbereitet werden müssten. Konkurrierende Ziele könnten aufgedeckt und im Vorfeld angepasst werden. Das Ergebnis ist der veränderte Maßnahmenprototyp.

Iterative Verbesserung des Maßnahmenprototyps (Schritte 5 und 6)
Der veränderte Maßnahmenprototyp wird nun im Betrieb implementiert. Es bietet sich an, den Maßnahmenprototyp wie in einer Pilotstudie zunächst an einer kleinen Gruppe von Mitarbeitenden des Betriebs zu testen. Dadurch können Aussagen darüber getroffen werden, wie die Implementierung in der Zielgruppe erfolgt ist, wie die Maßnahme aufgenommen wurde und ggf. welche Effekte der Maßnahmenprototyp in der Zielgruppe schon erreicht hat. Auf Basis der Ergebnisse aus dieser ersten Implementierung wird der Maßnahmenprototyp weiter verbessert und in einer anderen Gruppe von Mitarbeitenden erneut implementiert.

DIEM zielt darauf ab, die Maßnahme durch schnelle Datenauswertungen dynamisch zu evaluieren, d. h. schnell Verbesserungsmöglichkeiten aufzudecken und die Maßnahme weiterverändert wieder zu implementieren. Ein kontinuierlicher Verbesserungsprozess soll in Gang kommen. Zur Prozessevaluation empfehlen von Thiele Schwarz, Lundmark und Hasson ^{[ 19]} innovative Formen der Datenerhebung z.B. webgestützte kurze interventionsbezogene Tagebücher, kurze Selbsteinschätzungen und Beantwortungen von Fragen danach, was gut geklappt hat und was anders gemacht werden müsste sowie Beobachtung per Checkliste durch Führungskräfte.

Evaluation der Maßnahmenergebnisse und der betrieblichen Ergebnisse (Schritte 7 und 8)
Das zugrundeliegende logische Modell (bzw. Wirkungsmodell) bestimmt den/die geeigneten Zeitpunkt/e für die Evaluation der Maßnahmen- und betrieblichen Ergebnisse. D. h., das logische Modell hilft bei der Entscheidung, wann davon ausgegangen werden kann, dass die Maßnahme eine Wirkung in ihrer Zielgruppe erreicht hat, wann sich diese Wirkung in betrieblichen Ergebnissen niederschlagen konnte und sinnvollerweise evaluiert werden sollte. Zur Erfassung der betrieblichen Ergebnisse empfehlen von Thiele Schwarz, Lundmark und Hasson ^{[ 19]} auf im Betrieb bereits bestehende Daten (z.B. zu Produktivität oder Qualität) zurückzugreifen. Dies erhöhe die Wahrscheinlichkeit, dass der Betrieb diese Daten auch weiter überwacht und die Maßnahme über die Zeit selbstständig weiterentwickelt.

Qualitätsmodell von Donabedian ^{[ 21]}

Das Qualitätsmodell von Donabedian ^{[ 21]} ist im Gesundheitswesen entstanden. Zur Strukturierung des Begriffs der "Qualität" unterscheidet er drei Qualitätsdimensionen. Diese Dimensionen werden implizit im Exkurs des Kapitels 8.6.2 und dem dort beschriebenen logischen Modell aufgegriffen.

Die Strukturqualität (appraisal of structure) entspricht der Qualität der Leistungserstellung. Sie bezieht sich auf die Qualität der eingesetzten Faktoren und auf die Qualität von Aufbau- und Ablauforganisation. Sie beinhaltet persönliche, materielle und organisatorische Ressourcen, die den Leistungserbringenden zur Verfügung stehen.

Die Prozessqualität (assessment of process) wird gemessen an der Qualität des Dienstleistungsprozesses selbst. Sie bezieht sich auf Aktivitäten und den indikationsgerechten Einsatz der vorhandenen Strukturen bzw. Ressourcen. Im Prozess sind äußere Einflüsse möglich und zu beachten.

Die Ergebnisqualität (assessment of outcomes) bezieht sich auf die Qualität der Zielerreichung, also auf die Qualität des Ergebnisses. Die Beurteilung des Ergebnisses erfolgt im Hinblick auf den erreichten Zustand bei der Zielgröße (z.B. Person, Situation, System, Prozess). Die Ergebnisqualität ist der primäre Beurteilungsmaßstab für die Wirksamkeit einer Leistung. Voraussetzung für die Ergebnisqualität ist, dass Struktur- u. Prozessqualität angemessen gewährleistet sind.

Vier-Ebenen-Modell von Kirkpatrick ^{[ 22]}

Es ist eines der ältesten, aber auch am häufigsten eingesetzten Evaluationsmodelle. Im Bereich der Weiterbildungsevaluation hat es sich zur Erfolgskontrolle bewährt. Das Modell beinhaltet vier Ebenen:

Reaction (= Reaktionsebene): Die subjektive Einschätzung der Maßnahme durch die Teilnehmenden wird als entscheidend angesehen, da angenommen wird, dass sich ihre Zufriedenheit positiv auf Motive und Interessen, Lernmotivation und damit den Lernerfolg (= Erfolg oder Misserfolg des Trainings) auswirkt.

Learning (= Lernerfolg): Indikatoren für den Lernerfolg sind Wissenszuwachs, verbesserte Fähigkeiten und Fertigkeiten sowie Einstellungsänderung. Ein positiver Effekt auf der Lernebene ist grundlegend für den Lerntransfer, der über die Verhaltensänderung als dritte Ebene im Modell abgebildet wird.

Behavior (= Verhaltensebene): Das Gelernte wird angewandt und umgesetzt, es hat nach der Einstellungs- auch eine Verhaltensänderung stattgefunden. Darauf, ob tatsächlich ein Transfer des Gelernten im Betrieb stattfindet, haben verschiedene Faktoren Einfluss. Nicht nur die individuelle Einstellungs- und damit Verhaltensänderung ist wichtig, auch die Gegebenheiten im Arbeitsumfeld spielen eine wesentliche Rolle.

Result (= Gesamtresultat und Effektivität einer Maßnahme, betriebliche Kennzahlen): Wurden die angestrebten Ziele erreicht? Lässt sich anhand von Kennzahlen eine Produktivitätssteigerung festmachen? Wurden Fehlzeiten gesenkt?

Nach Kirkpatrick ^{[ 22]} stehen die vier genannten Ebenen in einem hierarchischen bzw. kumulativen Zusammenhang. Ohne Zufriedenheit der Teilnehmenden mit der Maßnahme gibt es keinen Lernerfolg, ohne Lernerfolg kann kein Transfer auf berufliche Situationen erfolgen, und schließlich kann es so keinen Effekt auf das Unternehmen geben. Die ersten beiden Ebenen reaction und learning sind die üblichen Schritte, die bei einer Evaluation i. d. R. erfasst werden. Es wird meist die Zufriedenheit der Teilnehmenden und der Lernerfolg ermittelt, z.B. in Form eines Wissenstests. Je höher die Ebenen werden, umso komplexer sind die Anforderungen an die Evaluation.

Informationsverarbeitungsmodell von McGuire ^{[ 23]}

Dieses Modell ähnelt dem von Kirkpatrick ^{[ 22]} und geht davon aus, dass zur Verarbeitung von Informationen mindestens fünf Bedingungen erfüllt sein müssen: Aufmerksamkeit, Verstehen, Akzeptieren, Beibehalten, Verhalten. Zunächst muss Aufmerksamkeit auf die Informationen gerichtet werden. Dann müssen die Informationen verstanden und die Argumente akzeptiert werden, damit es zu einer Einstellungsänderung kommt. Die geänderte Einstellung muss beibehalten und das Verhalten gemäß der neuen Einstellung angepasst werden. Das Modell macht deutlich, wie schwierig es ist, durch Informationen eine Einstellungsänderung zu bewirken. Denn schon, wenn die Zielgruppe einen der ersten Schritte nicht durchläuft bzw. nicht durchlaufen kann, ist die Kommunikation nicht erfolgreich und führt somit auch nicht zur Einstellungsänderung.

Phasenmodell der Kampagnenwirkungen der Bundeszentrale für gesundheitliche Aufklärung (BZgA)

Die Ideen des Informationsverarbeitungsmodells nach McGuire ^{[ 23]} wurden auch auf die Evaluation von Kampagnen übertragen - z.B. von der BZgA zur Evaluation ihrer Präventionskampagnen [z.B. ^{24; 25]}.

Das Phasenmodell der Kampagnenwirkungen beschreibt, dass Kampagnen ihre Wirkung über mehrere Phasen bzw. Stufen erreichen, wobei eine Phase auf der anderen aufbaut. In der Informationsphase kann über die Präsenz der Kampagne zunächst ihre Botschaft bewusst wahrgenommen und Wissen erworben werden. In der Überzeugungsphase soll sich die Einstellung entwickeln, ein neues Verhalten zu praktizieren und eine Verhaltensabsicht ausbilden (Entscheidungsphase). In der Umsetzungsphase wird das neue Verhalten praktiziert; in der Bestätigungsphase geht das neue Verhalten in Routine über und wird beibehalten.

Ebenenmodell zur Kampagnenevaluation von Wetzstein und Taskan-Karamürsel ^{[ 26]}

In Abhängigkeit von den thematischen Handlungsfeldern und den Zielen bzw. Zielgruppen der Kernbotschaften bestehen Präventionskampagnen oft aus einer Kombination verschiedener Maßnahmen. Aus dieser Komplexität heraus empfiehlt sich eine Evaluation auf mehreren Ebenen. Daher haben die Autorinnen ^{[ 26]} ein Ebenenmodell zur Überprüfung der Wirksamkeit von Präventionskampagnen abgeleitet. Die Ebenen einer Kampagnenevaluation werden nachfolgend erläutert und in Abbildung 3 dargestellt:

Auf der Ebene 0 erfolgt bereits vor bzw. mit Beginn der Kampagne eine interne und externe Konzeptevaluation. Die interne Konzeptevaluation untersucht, inwiefern die Überzeugung und Akzeptanz der Kampagne bei den internen Verantwortlichen vorhanden ist, die maßgeblich an der Verbreitung der Kampagneninhalte beteiligt sind. Die externe Konzeptevaluation wird dazu genutzt, verschiedene Kampagnenmaßnahmen bereits im Vorfeld eines breiten Einsatzes an den Zielgruppen zu testen (z.B. Wie wirkt eine bestimmte Broschüre auf die Zielgruppen?).

Auf der Ebene 1 wird der Umfang der Kampagnenaktivitäten und -maßnahmen, d. h. alle Maßnahmen aus den Bereichen Presse, Aktivitäten, Medien und Giveaways in einheitlichem Format dokumentiert. Dadurch kann eine Aussage getroffen werden, welche Bemühungen erfolgt sind, den Zielgruppen die Kampagne und ihre Botschaften zugänglich zu machen.

Auf der Ebene 2 erfolgt anhand von qualitativen und quantitativen Merkmalen die Dokumentation und Bewertung der Medienresonanz (in Text, Bild, Radio- und TV-Sendungen). Diese Ebene gibt darüber Auskunft, wie häufig die Zielgruppen Gelegenheit hatten, aus verschiedenen Medien etwas über die Präventionskampagne zu erfahren.

Auf der Ebene 3 wird die Wahrnehmung, Bewertung und Akzeptanz der Kampagne bei den Zielgruppen ermittelt: Haben die Zielgruppen die Kampagne tatsächlich wahrgenommen? Wird die Kampagne positiv bewertet? Werden die Themen als relevant und wichtig erachtet?

Die 4. Ebene steigt tiefer in die Frage ein, ob sich durch die Kampagne etwas im Wissen, in den Einstellungen sowie Verhaltensweisen und den Verhältnissen der Zielgruppen geändert hat. Veränderungen auf dieser Ebene sind längerfristigen Prozessen unterworfen als auf der vorgeschalteten Wahrnehmungs-, Bewertungs- und Akzeptanzebene. Die Bewertung der vierten Ebene erfordert häufig ein komplexeres Untersuchungsdesign mit Vorher-Nachher-Messung.

Die 5. Ebene der Auswirkungen im Betrieb soll zeigen, ob die Aktivitäten und Maßnahmen auf spezifische Kennzahlen in einem Betrieb/einer Organisation wirken können.

Die Ebenen 6 und 7 schlagen eine Brücke zur formativen Evaluation der Kampagne und richten den Blick nach innen. Die Kampagnenverantwortlichen werden auf der 6. Evaluationsebene zur Struktur der Kampagne, zu den internen Prozessen, zur Projektarbeit und nach dem Optimierungsbedarf für die aktuelle und die nachfolgenden Kampagnen befragt. Hierzu kann im Rahmen des Evaluationsmodells auf der 7. Ebene beraten werden.

Auf der Ebene 8 erfolgt eine Rückmeldung der Evaluatorinnen und Evaluatoren, d. h., Evaluationsergebnisse werden strukturiert und kontinuierlich an alle relevanten Gremien zurückgemeldet.

Abb. 3 Ebenenmodell der Evaluation von Präventionskampagnen
(Quelle: Hessenmöller, A.; Rahnfeld, M.; Renner, S.; Wetzstein, A.: IAG Report 5/2017. Die Evaluation der Präventionskampagne "Denk an mich. Dein Rücken" Planung, Durchführung und zentrale Ergebnisse. Hrsg.: Deutsche Gesetzliche Unfallversicherung (DGUV), Berlin 2017 https://publikationen.dguv.de/dguv/udt_dguv_main.aspx?FDOCUID=26875) ^{[ 27]}

8 Ablauf einer Evaluation:
Von der Planung über die Durchführung zu den Ergebnissen

Grundlage einer Evaluation ist die Evaluationsplanung anhand eines Evaluationskonzepts. Das Evaluationskonzept plant die komplette Evaluation vor, indem zunächst Fragen zu den folgenden zehn Punkten gestellt und im Austausch mit den Auftraggebenden beantwortet werden:

1. Maßnahme, Produkt oder Projekt, das Gegenstand der Evaluation sein soll
2. Ziele der Maßnahme, des Produkts oder Projekts
3. Zielgruppe/Betroffene der Maßnahme, des Produkts oder Projekts
4. Beteiligte an der Evaluation
5. Zweck/Hintergrund der Evaluation
6. Fragestellungen, logisches Modell und Indikatoren
7. Modalitäten der Durchführung, Design und Methodik
8. Datenerhebung
9. Auswertung der Daten
10. Ergebnisdarstellung und Präsentation

Zur Erstellung des Evaluationskonzepts ist es erforderlich, den Evaluationsgegenstand (z.B. eine Maßnahme, ein Projekt oder ein Produkt) genau kennenzulernen und zu ermitteln, welche Ziele damit erreicht, welche Veränderungen bei welcher Zielgruppe bewirkt werden sollen und was über den Evaluationsgegenstand herausgefunden werden soll. Damit wird das Erkenntnisinteresse ermittelt. Um das Evaluationskonzept zu erstellen, müssen Evaluatorinnen und Evaluatoren umfangreiche Informationen einholen und entsprechende Fragen stellen. Dafür kann als Hilfsmittel die Checkliste zur Auftragsklärung ^{[ 28]} verwendet werden.

Auf Basis der gewonnenen Informationen wird das Evaluationskonzept ausgearbeitet. Dabei werden die Fragestellungen finalisiert, es wird ein logisches Modell aufgestellt und Indikatoren abgeleitet. Des Weiteren muss festgelegt werden, mit welchen Evaluationsmethoden die Evaluation durchgeführt wird, so dass die Fragestellungen beantwortet werden können. Auch muss entschieden werden, welches Evaluationsdesign zielführend ist. Schließlich werden - soweit möglich - Festlegungen zur Datenerhebung und -auswertung getroffen sowie Art und Zeitpunkt der Ergebnispräsentation ermittelt.

Das fertige Evaluationskonzept wird - in der Regel bevor die eigentliche Durchführung der Evaluation beginnt - zwischen Auftraggeber und Evaluationsteam abgestimmt. Die Durchführung der Evaluation erfolgt auf Grundlage des Evaluationskonzepts.

Abbildung 4 stellt die zehn o. g. Prozessschritte, die im Evaluationskonzept berücksichtigt werden, als sogenannten Evaluationszirkel dar. Häufig erfolgen Evaluationen in der Praxis parallel oder nachgelagert zur eigentlichen Maßnahmendurchführung. In diesen Fällen können Evaluatorinnen und Evaluatoren keinen Einfluss mehr auf die mit der Maßnahme verfolgten Ziele und die Zielgruppe nehmen. Dennoch sind die Informationen über diese beiden Aspekte zur Planung der Evaluation, zur Erstellung des Evaluationskonzepts und zur Auswahl/Erstellung der an die Fragestellungen der Evaluation angepassten Erhebungsmethoden wichtig.

Zusammenfassend wird deutlich, dass eine Evaluation ein komplexer Prozess ist, der deutlich über den Ansatz "wir machen mal eben einen Fragebogen und werten ihn aus" hinausgeht. Nur wenn man den Evaluationsgegenstand, die genaue Zielgruppe und das eigentliche Erkenntnisinteresse kennt, kann man eine Evaluation mit allen Methoden so konzipieren, dass die benötigten Ergebnisse ermittelt werden können. Evaluatorinnen und Evaluatoren ermitteln zunächst mit den Auftraggebenden, welche Erkenntnisse durch die Evaluation erwartet werden. Im nächsten Schritt wählen sie entweder ein für den konkreten Evaluationsgegenstand - die zu untersuchende Maßnahme, das Produkt oder Projekt - geeignetes und bereits vorhandenes logisches Modell bzw. Wirkungsmodell aus oder, falls nicht vorhanden, entwickeln ein logisches Modell (bzw. Wirkungsmodell), das die (vermutete) Wirkungskette des Evaluationsgegenstandes abbildet.

Abb. 4 Evaluationszirkel
(Quelle: eigene Darstellung)

wird nicht dargestellt ⁰⁾

Dieses Modell bildet die logisch aufeinanderfolgenden Schritte ab, anhand derer die zu evaluierende Maßnahme das mit ihr verknüpfte Ziel zu erreichen versucht. Entlang eines solchen logischen bzw. Wirkungsmodells lassen sich dann Indikatoren ableiten, anhand derer sich die schrittweise Zielerreichung untersuchen lässt. Das bedeutet auch, dass Evaluatorinnen und Evaluatoren, die ihre Fragen stellen, die Maßnahmenentwicklung unterstützen können, wenn sie schon so frühzeitig in ein Projekt einbezogen werden. Durch ihr systematisches Vorgehen und ihre zielgerichteten Fragen tragen Evaluatorinnen und Evaluatoren i. d. R. dazu bei, den Fokus und die Ziele von Maßnahmen, Projekten oder Produkten zu schärfen und auf den Punkt zu bringen.

Anhand des folgenden Beispiels eines Seminars zum Thema "Rücken - fit am Arbeitsplatz" wird einerseits erläutert, anhand welcher Fragen das Evaluationskonzept entwickelt wird und andererseits gezeigt, wie das Evaluationskonzept in der Folge umgesetzt und Ergebnisse abgeleitet werden.

8.1 Den Gegenstand (Maßnahme, Produkt, Projekt) der Evaluation verstehen

In aller Regel geht der Entwicklung einer Maßnahme, eines Produkts oder Projekts eine Bedarfs- und Umfeldanalyse voraus. Die Bedarfs- und Umfeldanalyse ermittelt unter Berücksichtigung bereits vorhandener Angebote, welcher Bedarf für welche Zielgruppe besteht und klärt die Interessen und Erwartungen der verschiedenen Stakeholder an die Maßnahme, das Projekt oder Produkt. Durch die Bedarfs- und Umfeldanalyse können Ressourcen effizient eingesetzt werden, d. h. in der richtigen Zielgruppe und in der richtigen Höhe ^{[ 4]}. Methoden, die in der Bedarfs- und Umfeldanalyse eingesetzt werden können, sind z.B. Stakeholderanalysen und Gespräche mit den verschiedenen Stakeholdern, eine Doer/Non-Doer Analyse ^{[ 29]} oder die Erstellung eines Problembaumes und Lösungsbaumes ^{[ 4]}. Durch die Bedarfs- und Umfeldanalyse werden wichtige Daten und Informationen gesammelt und generiert, die auch für Evaluatorinnen und Evaluatoren von großem Interesse sind, um den Gegenstand der Evaluation zu verstehen.

Im ersten Schritt des Evaluationszirkels geht es also darum, die Maßnahme, das Produkt oder das Projekt, das evaluiert werden soll, genau zu erfassen. Es ist daher erforderlich, dieses so ausführlich wie möglich zu beschreiben. Mögliche Fragen lauten: Was genau soll evaluiert werden (z.B. Seminar, Medien, Kampagne, Intervention ...)? Aus welchen einzelnen Bestandteilen/Modulen setzt sich die Maßnahme, das Produkt oder das Projekt zusammen? Welche einzelnen Themen/Inhalte werden bearbeitet?

8.2 Ziele der Maßnahme, des Produkts oder Projekts verstehen

Im zweiten Schritt interessieren die Ziele, die mit der Maßnahme, dem Produkt oder dem Projekt, das evaluiert werden soll, verfolgt werden. Aus welchem Bedarf heraus wurde die Maßnahme, das Produkt oder Projekt entwickelt bzw. welches Problem sollte damit gelöst werden? Welche Ziele werden mit der Maßnahme, dem Produkt oder Projekt verfolgt? Was möchte man erreichen? Welche Teilziele werden mit der Maßnahme, dem Produkt oder Projekt verfolgt? Was sind kurzfristige und was sind strategische, langfristige Ziele? Wann sollen die Ziele erreicht werden?

8.3 Zielgruppe/Betroffene der Maßnahme, des Produkts oder Projekts

Im dritten Schritt geht es darum, die Zielgruppe der Maßnahme, des Produkts oder Projekts zu ermitteln. Wer ist die Zielgruppe der Maßnahme, des Produkts oder Projekts (z.B. Beschäftigte, Leitungen, Schülerinnen und Schüler, Sifas, Führungskräfte)? Wie groß ist die Zielgruppe? Wie wird die Maßnahme, das Produkt oder Projekt im Unternehmen/bei der Zielgruppe genau umgesetzt bzw. wie soll sie/es umgesetzt werden? Wie ist der aktuelle Umsetzungsstand? Wer soll oder könnte darüber hinaus von der Maßnahme, dem Produkt oder Projekt erreicht werden (Nebenwirkung)? Auf welchem Weg wird die Zielgruppe der Maßnahme, des Produkts oder Projekts erreicht?

8.4 Beteiligte an der Evaluation

Der vierte Schritt hilft zu ermitteln, wer im Rahmen der Evaluation zu beteiligen bzw. zu informieren ist und somit frühzeitig einbezogen werden sollte und mit wem Abstimmungen erforderlich sind. Wer ist der bzw. die Auftraggebende für die Evaluation? Wer sind die Nutzerinnen und Nutzer der Evaluationsergebnisse?

An dieser Stelle ist auch zu überlegen, wie viele Personen, die der Zielgruppe der Maßnahme angehören und an der Maßnahme teilgenommen haben, für die Evaluation zur Verfügung stehen. Können alle, die an der Maßnahmendurchführung teilgenommen haben, auch im Rahmen der Evaluation berücksichtigt werden oder muss für die Evaluation eine Stichprobe aus dieser Gruppe gezogen werden? Dies hängt sowohl von den zur Evaluation verwendeten Methoden ab (siehe Kap. 8.7) als auch von den durch die Evaluation zu beantwortenden Fragestellungen und den jeweiligen Rahmenbedingungen der Evaluation.

8.5 Zweck/Hintergrund der Evaluation

Im fünften Schritt interessiert, warum evaluiert werden soll. Denn Evaluationen erfüllen immer einen bestimmten Zweck in Bezug auf die Maßnahme oder im Rahmen eines Projekts. Evaluationen können sich an den Zielen oder an der Durchführung einer Maßnahme orientieren und beantworten eine oder mehrere zuvor festgelegte Fragestellungen. Die Ziele der Maßnahme müssen operationalisierbar und messbar aufgestellt sein. Die Zwecke der Evaluation müssen vor Beginn geklärt werden.

In diesem Schritt interessierende Fragen sind: Warum soll evaluiert werden? Was war der Auslöser für die Entscheidung, eine Evaluation durchzuführen? Was möchte man über die Maßnahme wissen? Was ist der Hintergrund (z.B. politische Vorgabe, Entscheidungsgrundlage, Optimierung)? Wie bzw. wofür sollen die Ergebnisse der Evaluation genutzt werden? Welche Ergebnisse/Wirkungen werden durch die Evaluation erwartet?

Je nachdem, wie die oben genannten Fragen beantwortet werden, verfolgt eine Evaluation hauptsächlich einen oder mehrere der folgenden Zwecke:

• Erkenntnisgewinn: Die Evaluation zeigt mithilfe von wissenschaftlichen Methoden auf, ob neu entwickelte oder modifizierte Maßnahmen hinsichtlich der Zielerreichung wirksam sind.
• Optimierung: Die Evaluation ermittelt die Stärken und Schwächen der Maßnahme, wie sich diese ausbauen bzw. beseitigen lassen und ob die Maßnahme modifiziert werden sollte. Evaluation in ihrer Optimierungsfunktion setzt die Bereitschaft zur kritischen Reflektion über die Eignung der vorhandenen Maßnahme/Prozesse zur Zielerreichung voraus und trägt damit auch zu kontinuierlichen Lern- und Verbesserungsprozessen und einer Fehlerkultur bei.
• Bewertung und Entscheidung: Die Evaluation ermöglicht die Bewertung einer Maßnahme und soll damit die Entscheidung erleichtern, ob eine bestimmte Maßnahme gefördert, weiterentwickelt oder eingestellt werden soll oder ob andere Maßnahmen erforderlich sind, um die gewünschten Ziele zu erreichen. Ist eine Maßnahme erfolgreich, kann auch geprüft werden, ob diese auf andere Bereiche/Branchen übertragbar ist.
• Kontrolle: Die Evaluation überwacht die Durchführung einer Maßnahme und stellt fest, ob die Umsetzung korrekt erfolgt und ob sie zu ihrer intendierten Wirkung führt. Evaluation kann dabei z.B. den Transfer von der Theorie in die Praxis überprüfen.
• Legitimation: Die Evaluation rechtfertigt den Einsatz von Maßnahmen und entsprechender Ressourcen durch den Nachweis ihrer Effektivität.

Um die Professionalität und Qualität von Evaluationen zu sichern sowie die Interessen aller Betroffenen und Beteiligten zu wahren, sollen Evaluationen sich an den anerkannten Standards guter Evaluation orientieren, die von der DeGEval formuliert wurden ^{[ 13]}. Die folgenden vier grundlegenden Eigenschaften (Standards) sollte grundsätzlich jede Evaluation aufweisen:

• Nützlichkeit: Die Nützlichkeitsstandards sollen gewährleisten, dass Evaluationen nicht grundlos durchgeführt werden. Evaluation sollte sich immer am Evaluationszweck und dem Informationsbedarf der Nutzerinnen und Nutzer orientieren. Es ist zu klären, warum evaluiert wird und wie die Evaluationsergebnisse genutzt werden sollen. Die Evaluation wird transparent und nachvollziehbar durchgeführt; Evaluatorinnen und Evaluatoren verpflichten sich zu einer transparenten und vollständigen Berichterstattung.
• Durchführbarkeit: Jede Evaluation wird realistisch und ökonomisch vorbereitet. Das Vorgehen entspricht einem angemessenen Verhältnis von Aufwand und Nutzen und wird so kommuniziert, dass eine möglichst hohe Akzeptanz aller Beteiligten erreicht wird.
• Fairness: Durch einen respektvollen Umgang und die Berücksichtigung individueller Rechte stellt Evaluation Fairness für alle Beteiligten sicher. Im Evaluationsprozess und in den Evaluationsberichten spiegelt sich die unparteiische Position der Evaluatorinnen und Evaluatoren wider (Neutralität und Objektivität). Die Evaluationsergebnisse und -berichte werden allen Beteiligten und Betroffenen soweit wie möglich zugänglich gemacht.
• Genauigkeit: Das Messinstrument beziehungsweise die Methode der Evaluation sollte zuverlässige (reliable) und gültige (valide) Informationen liefern. Der Evaluationsgegenstand muss klar definiert und der Kontext (z.B. Betrieb/Organisation), in dem eine Maßnahme durchgeführt wird, hinsichtlich aller bekannter Faktoren, die die Maßnahmendurchführung beeinflussen können, bekannt und analysiert sein. Die im Rahmen der Evaluation genutzten Informationsquellen müssen hinreichend dokumentiert werden. Um die Fragestellung einer Evaluation angemessen beantworten zu können, müssen gewonnene qualitative und quantitative Informationen nach fachlichen Maßstäben analysiert und auf Fehlerquellen geprüft werden.

Der Nutzen der Evaluation von Präventionsleistungen der Unfallversicherungsträger kann darin liegen, dass

• Wirkungen von Präventionsmaßnahmen geprüft und dokumentiert werden,
• auch unbeabsichtigte Wirkungen der Präventionsmaßnahme erkannt und bewertet werden,
• die Selbstverwaltung und die Öffentlichkeit über die Wirksamkeit von Präventionsmaßnahmen informiert werden kann,
• neue oder bestehende Präventionsmaßnahmen verbessert werden können,
• Alternativen zur Präventionsmaßnahme ermittelt werden können,
• durch eine transparente Evaluation ein Lernprozess aller Beteiligten in Gang gesetzt werden kann,
• Argumente zur Begründung von Präventionsmaßnahmen zusammengetragen werden können,
• Hinweise auf notwendige Anpassungen an globale Entwicklungen, Trends oder technische Entwicklungen und
• Informationen zur weiteren strategischen Steuerung der Prävention inklusive der personellen und finanziellen Ressourcen gewonnen werden können.

8.6 Ermittlung von Fragestellungen der Evaluation, logischem Modell und Indikatoren

8.6.1 Fragestellungen der Evaluation

Der sechste Schritt dient der Identifikation des Erkenntnisinteresses und damit der Beantwortung der folgenden Fragen: Was möchte man mithilfe der Evaluation über die Maßnahme, das Produkt oder das Projekt erfahren? Welche konkreten Fragestellungen sollen mit der Evaluation beantwortet werden? Welche Aussagen sollen durch die Evaluation getroffen werden können?

Wenn das Erkenntnisinteresse klar ist, wird ein logisches Modell (Wirkungsmodell) zugrunde gelegt oder ggf. entwickelt, das erläutert, wie bzw. über welche Zwischenschritte die Maßnahme das Ziel erreicht.

8.6.2 Das logische Modell (Wirkungsmodell)

Obwohl sie in der Praxis leider häufig nicht erfolgt, wäre die Erstellung eines logischen Modells schon in der Phase der Maßnahmenplanung sehr hilfreich. Denn Präventionsmaßnahmen werden durchgeführt, weil durch sie eine Veränderung erwartet wird. Durch die Veränderung sollen bestimmte Ziele erreicht und dadurch eine Wirkung erzeugt werden. Die Wirkung der Maßnahme entsteht in der Regel schrittweise über verschiedene Stufen oder Schritte einer Wirkungskette. Und Wirkungsketten lassen sich mit sogenannten logischen Modellen beschreiben. Logische Modelle tragen dazu bei, das Ausmaß einer Veränderung, welches durch die Maßnahme erreicht werden kann, realistisch einzuschätzen ¹⁾.

Logische Modelle

• stellen komplexe Zusammenhänge übersichtlich dar,
• verdeutlichen, mit welchen Mitteln, Maßnahmen, Produkten oder Dienstleistungen über welche Zwischenresultate (Stufen/Schritte/Verkettungen) eine maßnahmeninduzierte Veränderung (Projektziel) erreicht werden soll,
• beschreiben damit die expliziten und impliziten Annahmen über die Wirkungsweise einer Maßnahme und
• bilden den zeitlichen Wirkungsverlauf ab.

Ein logisches Modell ist ein wichtiger Bestandteil im Evaluationskonzept. Es ist zentral für die statistische Überprüfung des Verlaufs und der Wirkungsweise einer Präventionsmaßnahme sowie für das Analysieren und Verstehen von geglückter und missglückter Zielerreichung. Logische Modelle erhöhen die Qualität einer Evaluation, sollten immer grafisch abgebildet werden und selbsterklärend sein. So können sie als Kommunikationsgrundlage dienen.

Abb. 5 Logisches Modell
(Quelle: Kurz, B., & Kubek, D. (2017). Kursbuch Wirkung. Das Praxishandbuch für alle, die Gutes noch besser tun wollen (4. ed.). Berlin, Gütersloh: Phineo gAG, Bertelsmann Stiftung)

Logische Modelle dienen auch dazu, ggf. überzogene Erwartungen von Stakeholdern an die Wirkung von Maßnahmen hinsichtlich ihrer Reichweite in der Wirkungskette zu relativieren. Beispielsweise ist nicht davon auszugehen, dass eine kleine Maßnahme wie z.B. ein Flyer zu UV-Schutz die Neuerkrankungen von Hautkrebs bei Beschäftigten senken wird. Der Flyer allein ist zu "schwach", um eine Verhaltensänderung herbeizuführen. Achten aber gleichzeitig Führungskräfte konsequent auf sonnensicheres Verhalten ihrer Mitarbeitenden, verhalten sich selber sonnensicher, setzen Belohnungen für sonnensicheres Verhalten ein und informieren über den Flyer hinaus über Folgen von sonnenunsicherem Verhalten, so wächst die Wahrscheinlichkeit, dass die Beschäftigten höhere Stufen des logischen Modells erreichen und ihr Verhalten ändern. Um zu sehen, ob gewünschte Maßnahmenziele mit der geplanten Maßnahme realistisch umsetzbar sind, ist es hilfreich, logische Modelle schon bei der Maßnahmenentwicklung zu erstellen.

Im Vergleich zu Evaluationsmodellen beschränken logische Modelle sich auf konkrete Annahmen über die stufen- oder etappenweise Wirkung einer Maßnahme. Evaluationsmodelle sind i. d. R. umfassender und beziehen oft auch planerische, vorbereitende Maßnahmen sowie die Betrachtung des Kontexts mit ein (siehe z.B. das Modell von Stufflebeam oder das DIEM).

Logische Modelle werden in der wissenschaftlichen Literatur auch als "Theory of Change" bezeichnet oder, immer dann wenn sie stark an eine bestimmte Maßnahme oder ein Maßnahmenpaket angepasst sind, auch als "Programmlogik" oder "Programmtheorie" ^{[ 31]}.

8.6.3 Indikatoren

Indikatoren zeigen an, ob die Maßnahme, das Produkt oder Projekt die Zielgruppe erreicht hat und wirkt. D. h., Indikatoren zeigen an, ob Etappenziele, die letztendlich zum erwünschten Ergebnis bei der Zielgruppe führen, erreicht wurden und ob das Projekt auf dem richtigen Weg ist. Durch logische Modelle können schon in der Projektplanung realistische Ober- und Teilziele sowie realistische Indikatoren auf den einzelnen Wirkungsstufen zur Messung des Effekts einer Maßnahme abgeleitet werden. Dazu bietet sich an, das logische Modell unter Beachtung aller Wirkungsstufen von rechts nach links durchzugehen und immer zu fragen "... was getan werden muss beziehungsweise, was passieren muss, um die jeweilige Wirkung bzw. Leistung zu erzielen" ^{[ 4]}. Die Indikatoren können so im Rahmen der Evaluation operationalisiert und erfasst werden. Wichtig ist, auch zu klären, ob es quantitative oder qualitative Zielvorgaben für die Durchführung bzw. Wirkung der Maßnahme, des Produkts oder Projekts gibt.

8.7 Modalitäten der Durchführung: Design und Methodik

Im siebten Schritt müssen praktische Fragen zu Möglichkeiten der konkreten Durchführung der Evaluation geklärt werden. Gibt es ein Budget für die Evaluation? Welches Evaluationsdesign bietet sich an? Besteht ggf. die Möglichkeit für Vortests, Erhebungen zu mehreren Messzeitpunkten, Kontrollgruppenbildung? Darüber hinaus muss nun abgeleitet werden, mit welcher Methodik die Zielgruppe erreicht und die Fragestellungen beantwortet werden können.

8.7.1 Evaluationsdesigns

Evaluationsdesigns beschreiben in einem Untersuchungsplan das Vorgehen bei der Datenerhebung und -auswertung. Sie legen fest, wer welche Maßnahme erhält und bei wem wann was gemessen wird. In Abhängigkeit vom Zweck der Evaluation, den zu untersuchenden Zielgruppen, den Fragestellungen der Evaluation und der Verfügbarkeit einer Kontrollgruppe können unterschiedliche Evaluationsdesigns gewählt werden. Vom gewählten Evaluationsdesign hängt ab, welche Schlussfolgerungen aus den Evaluationsergebnissen zur Überprüfung der Wirksamkeit einer Präventionsmaßnahme gezogen werden können. Je nach Art des gewählten Evaluationsdesigns unterscheidet sich die Aussagekraft erheblich.

8.7.2 Methoden und Instrumente in der Evaluation

Bei der Planung einer Evaluation ist die Frage nach geeigneten Evaluationsmethoden und -instrumenten zentral. Die Methoden beschreiben die systematische Vorgehensweise zur Gewinnung von Erkenntnissen, die Instrumente sind die hierbei eingesetzten Werkzeuge.

In der Regel werden die Methoden im Rahmen des Evaluationskonzepts festgelegt.

Bei der Auswahl der geeigneten Erhebungsmethode/n sollten u. a. folgende Fragen berücksichtigt werden:

• Welcher Zeitraum ist für die Evaluation vorgesehen?
• Gibt es ein Budget für die Evaluation?
• Gibt es bereits Hinweise, ob bestimmte Auswertungen erforderlich sind und wenn ja, welche?
• Mit welchen Methoden oder mit welchem Methodenmix können die Fragestellungen am besten beantwortet werden?
• In welcher Form können die Daten genau erhoben werden? Qualitativ, quantitativ und/oder über Beobachtung?
• Welche Methoden eignen sich am besten für die Zielgruppen (z.B. Papier-/Online-Fragebogen, persönliches Interview) und wie werden die Zielgruppen im Rahmen der Evaluation am besten erreicht (z.B. postalisch, telefonisch, per E-Mail, persönlich?)
• Welche Methoden erzielen ein gutes Verhältnis von Aufwand und Nutzen?

Die empirische Sozialforschung nutzt zahlreiche unterschiedliche Datenerhebungsmethoden. Dabei wird zwischen quantitativen und qualitativen Methoden unterschieden.

Die Informationsschrift der DGUV "Methodenkoffer für die Evaluation" ^{[ 34]} gibt eine umfassende Übersicht über unterschiedliche quantitative und qualitative Datenerhebungsmethoden in der Evaluationsforschung inklusive möglicher Einsatzgebiete sowie der Vor- und Nachteile der Methoden. Diese Informationsschrift ^{[ 34]} enthält unter anderem die folgenden Methoden:

• Standardisierter Fragebogen/Test
• Selbst entwickelter Fragebogen
• Standardisiertes/teilstandardisiertes/unstrukturiertes Interview
• Expertengespräche, Experteninterview
• Wissenstest/Lernerfolgskontrolle
• Workshop, Gruppendiskussion, Fokusgruppe, World Café
• Verhaltensbeobachtung, teilnehmende Beobachtung, Begehung
• Messung physiologischer Parameter
• Dokumentenanalyse
• Auswertung von Statistiken/Kennzahlen
• Logfile-Analysen/Webstatistik-Analysen
• Dokumentation

8.8 Datenerhebung

Im achten Schritt wird die Datenerhebung durchgeführt. Für die Wirkungsanalyse und die Prozessevaluation ist es wichtig, Daten nicht nur am Ende eines Projekts zu erheben, sondern auch während der Projektdurchführung. Fragen sind: Wie können Daten erhoben werden, die die Implementierung der Maßnahme, des Produkts oder Projekts dokumentieren und später zur Prozessevaluation herangezogen werden können? Gibt es bereits Informationen, wer bis wann die Ergebnisse der Evaluation benötigt?

8.9 Auswertung der Daten

Im neunten Schritt wird die Auswertung der Daten geplant. Bei quantitativen Daten werden mit Hilfe eines Statistikprogramms in der Regel Mittelwerte und Häufigkeiten berechnet. Darüber hinaus lässt sich prüfen, ob bezüglich der Indikatoren eine signifikante Veränderung zwischen den Messzeitpunkten erfolgt ist (statistische Tests auf Mittelwertunterschiede). Qualitative Daten werden inhaltsanalytisch ausgewertet.

8.10 Ergebnisdarstellung und Präsentation

Die Ergebnisse müssen im zehnten Schritt für alle Beteiligten verständlich dargestellt und rückgemeldet werden, z.B. in Form eines Workshops mit allen Stakeholdern und in einem Evaluationsbericht. Die Fragen, die sich aus dem Erkenntnisinteresse ergeben haben, sollen beantwortet werden. Aus den Ergebnissen sollten gemeinsam mit den Stakeholdern Maßnahmen und Handlungsempfehlungen erarbeitet werden. Der Evaluationsbericht enthält auch Reflektionen darüber, was bei einer nächsten Evaluation besser gemacht werden kann und wie.

9 Herausforderungen und Fallstricke bei Evaluationen

Evaluatorinnen und Evaluatoren begegnen bei ihrer Arbeit zahlreichen Hürden und Herausforderungen. Im Folgenden werden einige Szenarien angerissen, die zu Fallstricken werden können. Es werden Anregungen gegeben, wie sie zu vermeiden sind.

Unzureichende Kenntnis und Erfahrung von Personen, die mit Evaluationen betraut werden

Die Konzeption, Planung und Durchführung von Evaluationen verlangen i. d. R. umfangreiche Kenntnisse und Erfahrungen. Daher ist es unerlässlich Evaluatorinnen und Evaluatoren auszuwählen, die mit dem Ablauf einer Evaluation, Erhebungsmethoden, Auswertungen und Interpretationen von in der Evaluation gewonnenen Daten und Informationen vertraut sind. Dadurch lassen sich häufige Fehler vermeiden, wie z.B.

• die Auswahl von nicht geeigneten Evaluationsmethoden/-instrumenten in Bezug auf die gegebene Fragestellung/Zielgruppe (das ausgewählte Instrument passt nicht zu den gestellten Fragen und kann daher auch keine validen Aussagen liefern)
• nicht eindeutige Fragenformulierung (z.B. zwei Fragen in einer) in im Rahmen der Evaluation selbst entwickelten Erhebungsinstrumenten
• unpassende Antwortmöglichkeiten in der Fragebogenentwicklung
• keine oder unzureichende Testung des entwickelten Fragebogens auf Verständlichkeit, Plausibilität und Länge
• keine Baseline-Erhebung, d. h. keine Information über den Ausgangspunkt vor Durchführung der Maßnahme oder des Projekts
• keine Berücksichtigung von Prozessevaluation und Dokumentation der Implementierung einer Maßnahme
• ungeeigneter Zeitpunkt für eine Evaluation (z.B. Evaluation erfolgt zu früh, sodass die Maßnahme noch keine Wirkungen zeigen konnte oder "Kinderkrankheiten" der Maßnahme noch nicht beseitigt sind).

Dennoch ist der Sachverstand der Evaluationsexpertinnen und -experten alleine nicht ausreichend. Er muss immer auch durch den Sachverstand der jeweiligen Zielgruppe, Branche o. ä. ergänzt werden. Vor allem bei komplexen Evaluationen ist die interdisziplinäre Zusammenarbeit und ein einheitliches Grundverständnis hinsichtlich der geplanten Evaluation für eine erfolgreiche Umsetzung der Evaluation wesentlich.

Fehlende oder unzureichende Bestimmung der Ziele der zu evaluierenden Maßnahme(n)

Es erscheint logisch, dass ohne eine genaue Bestimmung der Ziele der Maßnahme(n) die Zielerreichung nicht überprüft werden kann. Dennoch kann es schwierig sein, im Vorfeld der Maßnahme oder des Projekts exakte und realistische Ziele zu definieren, deren Erreichen dann im Anschluss auch überprüft werden kann. Eine große Herausforderung ergibt sich, wenn sich die Stakeholder zwar über die Wichtigkeit eines Projekts einig sind, aber die Erwartungen hinsichtlich der gewünschten Effekte voneinander abweichen. Häufig haben Auftraggebende auch überzogene Erwartungen an die Effekte einer Maßnahme.

Bei Erwartungen, dass Maßnahmen Effekte am Ende des logischen Modells erreichen (d. h. auf Ebene des Impacts z.B. hinsichtlich betrieblicher Kennzahlen wie der Senkung von Unfallzahlen), kann es sein, dass Ziele nicht messbar sind. Dies ist z.B. der Fall, wenn schon absehbar ist, dass der Effekt der Maßnahme zu schwach sein wird oder die Einflussfaktoren auf den Indikator Unfallzahlen zu zahlreich sind (Multikausalität).

Daher muss der Input, der einer Maßnahmenentwicklung zur Verfügung steht, in Relation zum erwarteten Outcome und Impact stehen. Ist eine Maßnahme "schwach" und erreicht in ihrer Wirkung "nur" eine Wissensvermittlung oder dass die Aufmerksamkeit auf einen Sachverhalt gerichtet wird, so führt auch die Evaluation der Maßnahme nicht zu einer Wirkung der Maßnahme auf den höchsten Stufen der Wirkungskette (z.B. Verhaltensänderung (Outcome) oder Veränderung in betrieblichen Kennzahlen (Impact)). Entscheidend ist also, dass eine Maßnahme, die starke Wirkungen haben soll, von vornherein so konzipiert ist, dass sie starke Wirkungen erreichen kann.

Es empfiehlt sich daher, auch die Fragen, die die Evaluation beantworten soll, mit allen Stakeholdern im Vorfeld, d. h. in der Planungsphase, ausreichend abzustimmen und ebenfalls in dieser Phase Klarheit über Bewertungsmaßstäbe zu schaffen (Was bedeuten die Evaluationsergebnisse? Ab wann ist eine Maßnahme "erfolgreich"?). Außerdem ermöglicht eine Stakeholderanalyse im Vorfeld der Evaluation, die Stakeholder vollständig zu identifizieren und deren Erwartungen in Erfahrung zu bringen und ggf. zu relativieren.

Fehlende oder unzureichende Bestimmung des Zwecks der Evaluation

Evaluationen sind keine Garantie dafür, dass die Evaluationsergebnisse weiterverwendet werden und Prozesse anstoßen, die zu einer Verbesserung im Betrieb führen. Damit das "Danach" nicht wie das "Davor" ist, muss der Zweck der Evaluation vorher festgelegt werden (Wozu sollen Evaluationsergebnisse genutzt werden?). Evaluation ist kein Selbstzweck. Es soll grundsätzlich nur dann evaluiert werden, wenn sich ein konkreter Nutzen aus der Evaluation ergibt und eine Bereitschaft besteht, aus den gewonnenen Erkenntnissen auch geeignete Maßnahmen oder notwendige Veränderungen abzuleiten und umzusetzen. Andernfalls besteht die Gefahr einer "Alibi-Evaluation" mit negativen Auswirkungen auf die Akzeptanz künftiger Evaluationen.

Unzureichende Kenntnisse über die oder fehlende Überlegungen zu der/den Zielgruppe(n) der zu evaluierenden Maßnahme(n)

Im Zusammenhang mit der Zielgruppe der Maßnahme sollten Evaluatorinnen und Evaluatoren sich folgende Fragen stellen, die idealerweise bei der Planung der Maßnahme bereits beantwortet sind:

• Welche Zielgruppe(n) soll(en) mit einer Maßnahme erreicht werden?
• Welche Besonderheiten weist die Zielgruppe/weisen die Zielgruppen auf?
• Wie kann die Zielgruppe/können die Zielgruppen angesprochen/erreicht werden?
• Welche Resonanz kann realistisch von der/den Zielgruppe(n) erwartet werden (Über-/Unterforderung vermeiden)?
• Welche Befragungsmethoden sind geeignet? Insbesondere, wenn Mitgliedsunternehmen eines Unfallversicherungsträgers im Rahmen der Evaluation eingebunden werden, müssen Aufwand und Nutzen für die Betriebe wohlüberlegt abgeschätzt werden. Ist es realistisch, dass diese sich ausreichend Zeit für die Evaluation nehmen können? Welchen Mehrwert hat die Teilnahme für sie? Wie können die zu befragenden Personengruppen zur Teilnahme "motiviert" werden?

Einbindung von Evaluatorinnen und Evaluatoren, nachdem die Maßnahme schon implementiert wurde

Bei der Planung der Evaluation ist der zeitliche Ablauf der zu evaluierenden Maßnahme entscheidend. Die im Rahmen der Evaluation geplanten Erhebungen müssen zeitlich auf den Ablauf der Maßnahme(n) abgestimmt werden. Hier ist es wichtig, zu den richtigen Zeitpunkten die geeigneten Methoden zur Evaluation anzuwenden. Werden Evaluatorinnen und Evaluatoren beispielsweise erst eingebunden, wenn die Maßnahmenimplementierung schon vorbei ist, ist die Chance auf eine Prozessevaluation vertan. Damit gehen wichtige Erkenntnisse zur Interpretation der Evaluationsergebnisse verloren.

Damit Evaluatorinnen und Evaluatoren ein Gespür dafür entwickeln können, wie eine Maßnahme, ein Projekt oder Produkt angenommen wird, welche Hindernisse es gibt oder wie es zu ungeplanten Wirkungen kommen konnte, ist es wichtig, dass Evaluatorinnen und Evaluatoren vor Ort sein und Einblicke in die Zielgruppen und den Kontext der Maßnahmendurchführung bekommen können.

Keine realistische Ressourcenplanung vorhanden

Neben Ressourcen für die eigentliche Evaluation sollten auch Ressourcen für die Maßnahmenentwicklung und Planung der Maßnahmenimplementierung eingeplant werden. Hier hat sich ein partizipatives, aber auch personalintensives Vorgehen bewährt ^{[ 19]}. Und auch die Prozessevaluation beansprucht Personalressourcen. Daher setzt eine erfolgreiche Evaluation auch eine realistische Ressourcenplanung (zeitlich, personell, finanziell) für das Evaluationsprojekt voraus.

Keine Baseline-Erhebung vorhanden

Wird die Maßnahme oder das Projekt durchgeführt, ohne dass vorher Baseline-Daten zu den Indikatoren erhoben wurden, erschwert das die Wirkungsanalyse, da keine Vergleichsdaten über die Ausgangssituation vorliegen. I. d. R. werden Baseline-Daten während der Bedarfs- und Umfeldanalyse erhoben. Ist dies versäumt worden oder waren wichtige Indikatoren zu Projektbeginn noch nicht bekannt, können die Teilnehmenden an der Maßnahme/dem Projekt z.B. gebeten werden auf einer Skala anzugeben, wie sie sich oder ihre Situation hinsichtlich eines Indikators nach der Maßnahmen-/Projektdurchführung einschätzen und wie sie sich hinsichtlich desselben Indikators vor der Maßnahmen-/Projektdurchführung gesehen haben. Eine andere Möglichkeit ist durch bestehende objektive Daten auf die Ausgangssituation zu schließen.

Wirkmechanismen sind nicht bekannt/ein geeignetes logisches Modell bzw. Wirkungsmodell ist nicht vorhanden

Dies erschwert die Formulierung der Fragestellungen, die Identifizierung der Indikatoren und damit auch die Auswahl der geeigneten Evaluationsmethoden. Dass Wirkmechanismen nicht bekannt sind, hängt i. d. R. mit der Komplexität des zu evaluierenden Gegenstands und seines Kontexts zusammen. Findet sich kein passendes logisches Modell bzw. Wirkungsmodell für eine Präventionsmaßnahme in der Forschungsliteratur (siehe auch Kapitel 7), gilt es, eigene Annahmen über die Wirkungsweise einer Präventionsmaßnahme anzustellen, ein logisches Modell zu erarbeiten und in der Projektgruppe zu diskutieren.

Hohe Komplexität des zu evaluierenden Gegenstands und seines Kontexts

Der zu evaluierende Gegenstand, z.B. eine Maßnahme, ein Maßnahmenbündel oder auch ein Projekt, ist komplex. Bei komplexen Systemen sind zahlreiche Systemelemente stark miteinander verknüpft. Sie werden darüber hinaus noch von Geschehnissen der Umwelt beeinflusst, entwickeln sich ständig weiter oder verändern sich.

Vier zentrale Merkmale bzw. Dimensionen komplexer Maßnahmen sind daher in Anlehnung an Dörner ^{[ 36]} Menge und Vielfalt, Vernetzung, Dynamik sowie Intransparenz. Besondere Herausforderungen in komplexen Kontexten sind i. d. R.:

• die Kontrolle der Einflussfaktoren,
• die Prozessevaluation und
• Wechselwirkungen von mehreren Einzelmaßnahmen.

Bei der Evaluation komplexer Maßnahmen können daher folgende Hinweise hilfreich sein bezüglich:

Auftragsklärung

Es ist wichtig, den Evaluationsauftrag eindeutig zu klären. Eine Stakeholderanalyse hilft dabei, alle relevanten Beteiligten zu identifizieren und kennenzulernen. In Gesprächen sollen die Erwartungen der Auftraggebenden und Stakeholder an die Evaluation und an den Evaluationsgegenstand geklärt werden. Die Evaluatorinnen und Evaluatoren sollten Stakeholder offen auf mögliche nicht zu erwartende oder unerwünschte Ergebnisse hinweisen und so realistische Ergebniserwartungen "verhandeln". Denn bei sehr komplexen Kontexten mit unklaren Wirkmechanismen und Einflussfaktoren kann auch die Evaluation nur begrenzt Fragestellungen beantworten. Dann muss im Vorfeld geklärt werden, welche Ergebnisse eine Evaluation realistisch erbringen kann.

Eine möglichst genaue Auftragsklärung ist wichtig für jede Evaluation. Hilfreich zur Auftragsklärung ist die Checkliste zur Klärung eines Evaluationsauftrags (s. ^{[ 28]} sowie Kapitel 8).

Planung und Durchführung

Es empfiehlt sich, relevante Einzelkomponenten herauszufiltern, Einzelmaßnahmen zu evaluieren und die Ergebnisse in der Gesamtschau im Hinblick auf Wechselbeziehungen zu analysieren.

In komplexen Evaluationen sollte die Methodenvielfalt durch die Kombination qualitativer und quantitativer Methoden genutzt werden. Anschließend werden die Ergebnisse im Rahmen der Triangulation zusammengeführt (vgl. Kap. 8.7).

Wenn es möglich ist, sollte mit logischen Modellen gearbeitet werden (bereits in der Phase der Konzeption der Maßnahme). Dabei wird nicht versucht, Interventionen und Wirkungen über ein Kontrollgruppendesign miteinander in Verbindung zu bringen. Stattdessen werden Interventionsprozesse über Wirkungsketten/logische Modelle bis zu einem Umsetzungspunkt verfolgt, der erwarten lässt, dass die Maßnahme einen Beitrag zum gewünschten Ergebnis leistet. Zum Nachweis des Einflusses der Intervention ist eine genaue und kontinuierliche Beobachtung und Dokumentation der Maßnahmenimplementierung sowie der Kontextfaktoren wichtig (Prozessevaluation). Man bewegt sich mit der Nutzung von logischen Modellen/Wirkungsmodellen sehr nahe an der Maßnahmenrealität, kann aber keine Effektmaße wie in klassischen Evaluationsstudien berechnen.

Gerade bei komplexen Maßnahmen hat es sich bewährt, die Evaluation schrittweise zu planen und optionale Methoden vorzudenken. Randomisierte Kontrollgruppendesigns finden bei komplexen Evaluationsgegenständen eher keine Verwendung. Betriebe und Organisationen müssen sich heute viel schneller als früher z.B. an veränderte Marktbedingungen anpassen. Daher ist die Durchführung von Maßnahmen und deren Evaluation in Betrieben und Organisationen heutzutage kein isoliertes Ereignis mehr, sondern findet innerhalb eines dynamischen und komplexen Systems statt. Auch das spricht für einen partizipativen Ansatz bei der Maßnahmenentwicklung und der Planung der Implementierung. Wenn die Maßnahmendurchführung gut in das dynamische und komplexe System eines Betriebs eingeflochten wird, dürfte dies der Bereitschaft zur Teilnahme und damit dem anzustoßenden Veränderungsprozess zuträglich sein ^{[ 19]} (vgl. Kapitel 7).

Ergebnisse

Sollte es zu unvorhersehbaren Entwicklungen im Evaluationsprozess und damit zu nichterwarteten Ergebnissen kommen, ist es im Sinne eines Beitrags zur Fehlerkultur wertvoll, offen mit den Ergebnissen umzugehen und ihr Zustandekommen zu analysieren. Hilfreich ist, wenn in der Organisation bereits eine Lern- und Fehlerkultur besteht.

10 Fazit

Welche Herausforderungen auf Evaluatorinnen und Evaluatoren zukommen können, welche Voraussetzungen eine erfolgreiche Evaluation benötigt und welche Möglichkeiten und Grenzen bestehen, diese Voraussetzungen zu erfüllen, wurde im vorangehenden Kapitel beschrieben. Wenn Evaluation auch nicht alles leisten kann, was möglicherweise von ihr erwartet bzw. gewünscht wird, so liefert sie doch wertvolle Ergebnisse zu Fragestellungen, die für die gesetzliche Unfallversicherung wichtig sind.

Mithilfe von Evaluationen können

• effektive Präventionsmaßnahmen ermittelt werden, die die Sicherheit und Gesundheit der Beschäftigten in den Betrieben und Einrichtungen verbessern,
• bestehende Präventionsmaßnahmen optimiert oder neue Präventionsmaßnahmen konzipiert werden,
• beabsichtigte und unbeabsichtigte Wirkungen von Präventionsmaßnahmen erfasst und alternative Präventionsmaßnahmen hinsichtlich ihrer Wirkungen miteinander verglichen werden und
• Lernprozesse aller an einer Evaluation Beteiligten angestoßen werden. Somit dient Evaluation der Gewinnung von Informationen über Präventionsmaßnahmen und ist ein strategisches Mittel zur Steuerung der Prävention in der gesetzlichen Unfallversicherung. Dadurch leisten Evaluationen einen erheblichen Beitrag zur Wirtschaftlichkeit, da sie den Trägern der gesetzlichen Unfallversicherung eine passgenaue Präventionsplanung und einen zielgerechten Einsatz ihrer Ressourcen zur Erfüllung ihres gesetzlichen Auftrags ermöglichen.

.

Das integrative Baukastensystem für Evaluationen der Allgemeinen Unfallversicherungsanstalt (AUVA)

Im integrativen Baukastensystem werden die verschiedenen Elemente einer Evaluation sowie verschiedene Evaluationsansätze übersichtlich zusammengebracht und dargestellt. In Abhängigkeit von der Fragestellung der Evaluation und ihrem Zweck ist die Berücksichtigung bestimmter dargestellter Elemente angezeigt. Im integrativen Baukastensystem verankert ist die Ex-ante Evaluation (Analyse von Bedarf, Realisierbarkeit und Erfolgsaussichten), die Konzeptevaluation, die Wirkungslogik über Input, Output, Outcome, Impact, das Vier-Ebenen-Modell von Kirkpatrick ^{[ 22]}, die Möglichkeit der Wirksamkeitsprüfung mit den Elementen Prä-Messung, Post-Messung, Follow-Up, Ex-post Evaluation, das Konzept der Umsetzungsgenauigkeit (Fidelity) und der Prozessevaluation (s. Abbildung 6) ^{[ 37; 38]}. Das integrative Baukastensystem ist ein Hilfsmittel bei der Planung und Durchführung einer Evaluation.

Abb. 6 Integratives Baukastensystem der AUVA (leicht modifizierte Darstellung)
(Quelle: Jelenko, M.; Strobach, T.: Evaluation von Präventionsleistungen der Allgemeinen Unfallversicherungsanstalt in Österreich. In: Pfannstiel, M.; Mehlich, H. (Hrsg.): BGM - Ein Erfolgsfaktor für Unternehmen, S. 819-834. Springer Gabler, Wiesbaden 2018 inhaltlich basierend auf Spiel, G.; Finsterwald, M.; Popper, V.; Hesse, N.: Darstellung des integrativen Baukastensystems für Evaluationen im Präventionsbereich der AUVA. Report Nr. 63. Hrsg.: Allgemeine Unfallversicherungsanstalt, Wien 2013)

Planungshilfe für Evaluationen

Mit dieser tabellarischen Übersicht lässt sich die Evaluation einer Präventionsmaßnahme planen.

Erläuterung der Begriffe der Planungshilfe für Evaluationen

Projektphasen bei Evaluationsprojekten

Verzeichnisse

Literatur

Weiterführende Literatur der DGUV

• IAG Report 1/2019 Evaluation der RAG- Kampagne " SICHERHEIT! Denk daran, bevor du loslegst."
  Ein Pilotprojekt der BG RCI für die Präventionsstrategie VISION ZERO
• DGUV Information 206-022 - Verfahren und Methoden im Präventionsfeld "Gesundheit im Betrieb" - Empfehlungen für Präventionsfachleute, 2019
• IAG Report 5/2017 Die Evaluation der Präventionskampagne "Denk an mich. Dein Rücken" Planung, Durchführung und zentrale Ergebnisse
• IAG Report 3/2017 Evaluation in der gesetzlichen Unfallversicherung - Beispiele aus der Projektarbeit Die Beiträge der Veranstaltungen "Fachgespräch Evaluation" in Dresden, gehalten in den Jahren 2012, 2014 und 2016
• IAG Report 1/2017 Erfolgsfaktoren für Arbeitsschutzunterweisungen - Identifikation und Messung
• DGUV Report 1/2017 Evaluation der DGUV Vorschrift 2, Anlage 2 (Abschlussbericht) Stand der Umsetzung, Anwendbarkeit und Praktikabilität sowie Auswirkungen im Betrieb
• IAG Report 1/2016 Prävention gegen sexuellen Missbrauch bei Kindern Evaluationsergebnisse des Präventionsprogramms "Gemeinsam · Mädchen und Jungen stärken" des Kinderschutzbundes Münster
• IAG-Report 1. Fachgespräch Evaluation - "Standards setzen?!" - Die Beiträge des Fachgesprächs, gehalten am 25. und 26. März 2010 in Dresden -

Alle zu finden unter: https://publikationen.dguv.de/

Abbildungs- und Tabellenverzeichnis

Bildnachweis

Abb. 4: ©bloomline/stock.adobe.com;

ENDE