Für einen individuellen Ausdruck passen Sie bitte die Einstellungen in der Druckvorschau Ihres Browsers an. Regelwerk; BGG/GUV-G / DGUV-G

Zur aktuellen Fassung

1 Präambel

Die gesetzliche Unfallversicherung hat vielfältige Präventionsangebote entwickelt. Für eine systematische betriebliche und überbetriebliche Präventionsarbeit ist es bedeutend, die Wirksamkeit dieser Leistungen und Produkte zu belegen.

Diese Überprüfung der Wirksamkeit von Präventionsleistungen ¹) und -produkten erfolgt durch Evaluationen.

Das "Leitpapier zur Evaluation" ist ein gemeinsames Grundverständnis zur Evaluation von Präventionsmaßnahmen in der gesetzlichen Unfallversicherung, um insbesondere

• den Begriff Evaluation einheitlich zu verwenden und von anderen Begriffen abzugrenzen,
• Ziele und Funktionen festzulegen und zu beschreiben,
• einen standardisierten Ablauf von Evaluationen anzustreben.

Das Grundverständnis stellt eine Orientierung für Evaluationen in der gesetzlichen Unfallversicherung dar. Darauf aufbauend kann eine Evaluationskultur der Unfallversicherungsträger entwickelt werden.

2 Definition

Evaluation im allgemeinen Sprachgebrauch bedeutet die sachgerechte Bewertung oder Beurteilung von Sachverhalten, Prozessen, Gegenständen oder Organisationseinheiten.

Evaluation im wissenschaftlichen Sinne ist die "explizite und systematische Verwendung wissenschaftlicher Forschungsmethoden zur Beschreibung und Bewertung bestimmter Gegenstände oder Maßnahmen hinsichtlich Zielsetzung und Planung, Einrichtung und Durchführung sowie Wirksamkeit und Effizienz" (Westermann, 2002).

Evaluation in der Prävention bedeutet somit die systematische Untersuchung der Qualität und Wirksamkeit einer Präventionsmaßnahme (z.B. Programme, Projekte, Leistungen, Rechtsvorschriften) mit wissenschaftlichen Methoden und stellt insofern sowohl eine rückblickende Wirkungskontrolle als auch eine vorausschauende Steuerung der evaluierten Präventionsmaßnahme dar. Dabei beruhen die erzielten Ergebnisse und Schlussfolgerungen auf empirisch gewonnenen, beobachteten und/oder gemessenen Daten, sind nachvollziehbar und reproduzierbar und werden anhand zuvor festgelegter messbarer Ziele bewertet.

3 Abgrenzung der Evaluation zu anderen Begriffen

Es gibt eine Reihe von Begriffen, die oft fälschlicherweise als Synonym für Evaluation verwendet werden. Dazu zählen z.B. Projektcontrolling, Qualitätssicherung, Rückmeldung, Befragung, Statistik, Analyse, Test, Bewertung. Einige dieser Begriffe bezeichnen jedoch eher Evaluationsmethoden (z.B. Befragung, Rückmeldung). Andere sind Hilfsmittel zur Durchführung von Evaluationen (z.B. Statistik, Analyse, Test). Wieder andere sind Instrumente zur Vorbereitung zielsetzungsgerechter Entscheidungen, bei denen Evaluation ein Bestandteil sein kann (z.B. Projektcontrolling, Qualitätssicherung, Bewertung).

4 Ziele von Evaluationen

Evaluationen machen Prozesse transparent, dokumentieren die Wirkungen von Präventionsmaßnahmen und zeigen Zusammenhänge auf. Somit verfolgt eine Evaluation die Ziele:

• Erkenntnisgewinn: Die Evaluation zeigt, ob neu definierte oder modifizierte Prozesse für die Zielerreichung wirksam sind;
• Optimierung: Die Evaluation zeigt auf, ob bestehende Präventionsmaßnahmen verbessert werden oder andere bzw. modifizierte Präventionsmaßnahmen erforderlich sind, um die gewünschten Ziele zu erreichen;
• Kontrolle: Die Evaluation überwacht die Durchführung von Präventionsmaßnahmen, sofern aufgezeigt wurde, dass diese zielwirksam sind;
• Legitimation: Die Evaluation legitimiert Interventionen durch den Nachweis von deren Effektivität.

Diese Ziele sind immer Teilziele eines übergeordneten Projekts. Eine Evaluation ist damit kein Selbstzweck, sondern Bestandteil einer Präventionsmaßnahme, orientiert sich an deren Zielen und beantwortet eine zuvor festgelegte Fragestellung. Die Ziele müssen operationalisierbar und messbar aufgestellt sein.

In Bezug auf die Präventionsleistungen der Unfallversicherungsträger bedeutet dies, dass

• Präventionsmaßnahmen auf ihre Effektivität untersucht werden,
• neue oder bestehende Präventionsmaßnahmen verbessert bzw. Defizite aufgezeigt werden können,
• auch unbeabsichtigte Wirkungen der Präventionsmaßnahme und Alternativen zur Präventionsmaßnahme erkannt und bewertet werden können,
• durch eine transparente Evaluation ein Lernprozess in Gang gesetzt wird,
• Informationen zur weiteren Steuerung der Prävention gewonnen werden,
• Argumente zu Begründung von Präventionsmaßnahmen aufgestellt werden,
• die Selbstverwaltung und die Öffentlichkeit über die Wirksamkeit von Präventionsmaßnahmen informiert werden können.

Damit diese Ziele von Evaluationen erreicht werden können, orientiert sich Evaluation an Standards (angelehnt an die Standards der DEGEVAL ²⁾). Diese erfordern:

• den Nutzen der Evaluation aufzuzeigen.
  Die Evaluation wird transparent und nachvollziehbar durchgeführt. Die Evaluation orientiert sich am Informationsbedarf der Beteiligten.
• die Durchführung der Evaluation am Nutzen auszurichten.
  Die Evaluation ist kein Selbstzweck, sondern wird entsprechend des erwarteten Nutzens des zu evaluierenden Projekts ausgerichtet.
• die Genauigkeit der Evaluation zu gewährleisten.
  Die Evaluation sammelt zielgerichtet Daten und wertet diese zuverlässig (reliabel) und gültig (valide) aus. Das Vorgehen und die Ergebnisse werden dokumentiert.
• einen fairen Umgang zu beachten.
  Die Evaluation berücksichtigt individuelle Rechte sowie die Fairness für alle Beteiligten und wird unparteilich durchgeführt.

5 Ausrichtung von Evaluationen

Bei der Evaluation von Präventionsmaßnahmen werden Referenzen im Sinne von Vergleichsmaßstäben herangezogen, die eine Bewertung der Präventionsmaßnahmen auf Basis der in der Evaluation erzielten Ergebnisse ermöglichen. Diese Vergleichsgrößen bieten damit in der Planungsphase eine Orientierung und in der Abschlussphase eine Hilfe bei der Interpretation der Ergebnisse.

In Anlehnung an Schmidt (2010) können folgende Referenzgrößen möglich sein. Diese sind nicht trennscharf, d. h., sie können einzeln oder kombiniert herangezogen werden. Die Auswahl der Referenzgrößen bestimmt die Ausrichtung der Evaluation:

1.Vergleich mit anderen Präventionsmaßnahmen:
Evaluationsergebnisse zur Durchführung oder Wirksamkeit einer Präventionsmaßnahme werden mit Ergebnissen ähnlicher Präventionsmaßnahmen verglichen. Es wird keine absolute Bewertung durchgeführt, sondern eine relative. Beispiel: Die Zufriedenheit mit dem Seminar x und die Bewertung des Transfererfolgs von Seminar x wird mit den Ergebnissen zur Zufriedenheit mit dem Seminar y und dem Transfererfolg von Seminar y verglichen.

2.Vergleich zwischen angestrebten Zielen und Zielerreichung:
Die Wirksamkeit der Präventionsmaßnahme wird daran festgemacht, ob die Ziele der Präventionsmaßnahme erreicht wurden. Beispiel: Ob eine Präventionskampagne erfolgreich war, wird danach beurteilt, inwieweit die Kampagnenziele, die vor Beginn der Kampagne im Fachkonzept festgeschrieben wurden, erreicht wurden.

3.Vergleich von Ergebnissen zu unterschiedlichen Messzeitpunkten:
Es werden zu verschiedenen Messzeitpunkten, z.B. vor, während, unmittelbar nach Abschluss sowie Monate nach Abschluss der Durchführung einer Präventionsmaßnahme Daten erhoben, die dann miteinander verglichen werden können. Hier lässt sich der relationale Fortschritt ermitteln. Beispiel: Die Befragung zu einer neuen Ausbildung erfolgt vor Beginn der Ausbildung, zwischen den Ausbildungsmodulen, am Abschluss der Ausbildung und 8 Monate nach Ausbildungsende. Es werden jeweils die gleichen Daten erhoben, so dass Veränderungen bei den Teilnehmenden, z.B. bezüglich ihrer Kompetenz und ihren Fertigkeiten, identifiziert werden können.

4.Vergleich mit normativ gesetzten Standards:
Normative Standards sind bei solchen Präventionsmaßnahmen bedeutsam, bei denen es um Normierung bzw. die Gewährleistung von Standards geht. Beispiel: In Vorschriften der gesetzlichen Unfallversicherung sind bestimmte Normen festgeschrieben. Mittels Evaluation kann festgestellt werden, ob bei der Umsetzung der Vorschrift in Unternehmen, diese Normen erreicht werden.

5.Orientierung an (theoretischen) Modellen:
Das Vorgehen zur Evaluation einer Präventionsmaßnahme wird an einem vorhandenen theoretischen Modell ausgerichtet. Das Modell ist eine Strukturierungshilfe, denn es hilft bei der Ableitung der Evaluationskriterien und des Evaluationsdesigns. Prominente Modelle werden im Kapitel 7 vorgestellt. Beispiel: Die Evaluation eines Seminars wird am Vier-Ebenen-Modell von Kirkpatrick (1987) geplant. Damit werden die Zufriedenheit, der Lernerfolg, die Verhaltensveränderung und die Effekte im Betrieb gemessen.

6 Arten von Evaluationen

Im folgenden Abschnitt werden verschiedene, häufig verwendete Arten von Evaluationen vorgestellt. Je nach Zweck der Evaluation und den zu beantwortenden Fragestellungen ist eine bestimmte Art anzuwenden.

• Inputevaluation
  Bei Input- bzw. Strukturevaluationen werden persönliche, materielle und organisatorische Ressourcen, die den Leistungserbringern zur Verfügung stehen, bewertet. In der Prävention gelten die Trägerschaft, die Projektorganisation, die organisatorische und personelle Vernetzung, die gegebene Organisationsstruktur, die Qualifikation der Mitarbeiter, der Leistungsauftrag sowie die finanziellen und personellen Ressourcen als mögliche Indikatoren.
• Formative und summative Evaluation:
  Eine formative Evaluation (auch Prozessevaluation genannt) erfolgt während der Entwicklung und Durchführung einer Präventionsmaßnahme. Durch diese begleitende Evaluation werden die Durchführung der Präventionsmaßnahme sowie deren Wirkungen fortlaufend kontrolliert. Es werden Stärken und Schwächen identifiziert und wenn nötig Veränderungen initiiert. Die formative Evaluation wird zur kontinuierlichen Verbesserung eines Maßnahmenkonzepts und seiner Umsetzung angewendet sowie zur Identifikation von Wirkungsketten.

Bei dersummativen Evaluation werden die Eigenschaften der fertigen Dienstleistung bzw. deren Folgen, der Erfolg oder die Effizienz einer Präventionsmaßnahme (Effektevaluation, Outputevaluation) bewertet. Eine summative Evaluation erfolgt nachdem die Präventionsmaßnahme endgültig abgeschlossen ist.

Eine Ergänzung der summativen Evaluation um die formative Evaluation ermöglicht die Erfassung des Kontexts einer Präventionsmaßnahmenabwicklung. Der Evaluator kann in der summativen Evaluation gefundene Effekte leichter interpretieren, da er den Einfluss ggf. vorhandener Störgrößen auf die gefundenen Effekte besser abschätzen kann als beim Verzicht auf eine formative Evaluation. Gegenüber einer rein summativen Evaluation erhöht die zusätzliche formative Evaluation die interne Validität der Evaluation.

• Globale und analytische Evaluation:
  Bei einer globalen Evaluation wird der Fragestellung, dem Evaluationsanlass eine einzige Beurteilung zugeordnet. Beispiel: eine Zufriedenheitsabfrage am Ende eines Seminars

Eine analytische Evaluation liegt vor, wenn auch Einzelheiten des evaluierten Gegenstands bewertet werden. Dabei lassen sich sowohl Komponenten (z.B. die Vorbereitung einer Maßnahme) als auch Dimensionen (z.B. die Schwierigkeit der Maßnahme) herausgreifen.

• Interne und externe Evaluation:
  Abhängig von der Rolle der Evaluatorinnen bzw. Evaluatoren lassen sich interne von externen Evaluationen unterscheiden.

Selbstevaluation bzw. interne Evaluation liegt vor, wenn die Bewertung von Personen vorgenommen wird, die auch selbst an der Gestaltung der Präventionsmaßnahme beteiligt sind oder aus der gleichen Einrichtung kommen. Beispiel für intern: Das Kampagnenteam der DGUV setzt die Kampagne um, das Evaluationsteam der DGUV evaluiert die Kampagne.

Vonexterner Evaluation (Fremdevaluation) wird gesprochen, wenn Experten mit der Beschreibung und Bewertung beauftragt sind, die nicht zur Firma oder Einrichtung gehören. Beispiel für extern: Der Evaluationsauftrag wird an einen Dienstleister außerhalb des eigenen Unfallversicherungsträgers gegeben. Externe Evaluatoren haben oft mehr Erfahrung aus dem Vergleich mit anderen, sind neutral und bringen neue Sichtweisen ein. Interne Evaluatoren kennen den eigenen strukturellen Aufbau, die Präventionsthemen und -maßnahmen sowie die Zielgruppen besser und erkennen so leichter wichtige Aspekte im Detail. In der Praxis sind beide Vorgehensweisen gleichermaßen zulässig und anerkannt.

7 Prominente Modelle zur Erfassung der Wirksamkeit und Qualität

Evaluation basiert prinzipiell immer auf angenommenen Wirkungsmodellen. Ein Wirkungsmodell bildet Ursache-Wirkungs-Beziehungen im Detail ab, zeigt, was eine Präventionsmaßnahme mit welchen Mitteln und Produkten erreichen möchte und beschreibt damit über welche Zwischenresultate das Projektziel erreicht werden soll (Wetzstein & Hessenmöller, 2012). Das Wirkungsmodell ist somit zentral für das Analysieren und Verstehen von Erfolgen und Misserfolgen. In Kampagnen beispielsweise, wo oftmals interdisziplinär zusammengearbeitet wird, stellt eine grafische Aufbereitung des Wirkungsmodells nicht nur eine wichtige Kommunikationsgrundlage dar, sondern es macht komplexe Zusammenhänge übersichtlich, hilft bei der Formulierung von realistischen Ober- und Teilzielen und ermöglicht eine detaillierte Planung der Präventionsmaßnahmen.

Für die Evaluation sind Modelle eine wichtige Voraussetzung dafür, frühzeitig Indikatoren zu finden und ein Evaluationsdesign zu erarbeiten. Nach der Datenerhebung sind sie eine wichtige Grundlage für die statistische Überprüfung der Wirkungsweise der Präventionsmaßnahme.

Für die Entwicklung von Wirkungsmodellen bieten sich zwei Wege an:

1. Für eine Reihe von Präventionsmaßnahmen lassen sich Wirkungsmodelle aus der Forschungsliteratur finden, die als Grundlage dienen, sich sowohl auf die Wirksamkeits-, als auch Qualitätsmessung von Präventionsmaßnahmen anwenden lassen und spezifisch angepasst werden können.

So existieren bekannte sozialpsychologische bzw. informationsverarbeitende Modelle, die psychologische Mechanismen des Zustandekommens von Verhaltensveränderungen und schließlich auch Verhältnisveränderungen beschreiben. Für den Bereich der Qualifizierungen gibt es beispielsweise das Modell von Kirkpatrick (1987) oder das Qualitätsmodell von Donabedian (1966), die gern herangezogen werden. Für den Bereich der Kampagnen gibt es das Informationsverarbeitungsparadigma von McGuire (1989) und das Phasenmodell der Kampagnenwirkung der BZgA, der Bundeszentrale für gesundheitliche Aufklärung (BZgA). In der 2. Periode der GDa wird das Prozessorientierte Wirkungsmonitoring (PWM, Hummelbrunner, 2011) verwendet.

Neben diesen Wirkungsmodellen gibt es auch daraus abgeleitete Evaluationsmodelle. Das sind das CIPP-Modell von Stufflebeam (1999) und das Ebenenmodell zur Kampagnenevaluation von Taskan-Karamürsel und Wetzstein (2010).

2. Findet sich kein passendes Modell für eine Präventionsmaßnahme in der Forschungsliteratur, ist der zweite Weg, eigene Annahmen über die Wirkungsweise einer Präventionsmaßnahme anzustellen, das Wirkungsmodell zu erarbeiten und in der Projektgruppe zu diskutieren.

Oftmals lassen sich theoretische Modelle nicht eins zu eins in die Praxis übertragen. Sie bieten einen Leitfaden zur Vorgehensweise oder lassen sich in bestimmten Aspekten mit anderen Modellen kombinieren. Entsprechend des jeweiligen Evaluationsgegenstands ist es in der Praxis notwendig, spezifische Evaluationskonzepte gemäß der entsprechenden Zielstellung und Indikatoren zu entwickeln.

8 Ablauf einer Evaluation

Evaluationen werden von Experten durchgeführt und/oder begleitet, die über die folgenden Kompetenzen verfügen:

• Methodische und fachliche Kompetenz
• Grundlagenwissen zu Sicherheit und Gesundheit
• Erfahrungen hinsichtlich deskriptiver und analytischer statistischer Verfahren

Die Evaluatoren sind für den kompletten Ablauf der Evaluation verantwortlich. Die Evaluation sollte so früh wie möglich bei der Maßnahmenkonzeption berücksichtigt werden, ist aber inhaltlich und möglichst personell von der Konzeption der Maßnahme zu trennen. Das Evaluationskonzept wird erarbeitet, wenn Ziele, Intention und Inhalte der Präventionsmaßnahme weitestgehend feststehen.

Im Idealfall werden alle 8 Prozessschritte der Evaluation eingehalten (vgl. Abb. 1):

Abb. 1 Ablauf einer Evaluation

Eine häufig zu evaluierende Präventionsleistung bei den Unfallversicherungsträgern sind die Qualifizierungsmaßnahmen. Der in Abbildung 1 dargestellte Prozessablauf soll deshalb im Hinblick auf die Evaluation eines Seminars zum Thema "Rückenfit am Arbeitsplatz" beispielhaft erläutert werden:

Gegenstand festlegen und

1.Ziele der Maßnahme ermitteln:
Ziel des Seminars "Rückenfit am Arbeitsplatz" ist es, das die Teilnehmenden am Ende des Seminars theoretische Grundlagen zum Thema kennen, verhältnis- und verhaltenspräventive Einzelmaßnahmen zur Förderung der Rückengesundheit erlernen und auch am eigenen Arbeitsplatz anwenden. Insgesamt soll dadurch die Gesundheitskompetenz der Teilnehmenden erhöht und das allgemeine Wohlbefinden gesteigert werden. ³)

2.Betroffene und Beteiligte ermitteln:
Betroffene und Beteiligte sind in diesem Fall die Seminarteilnehmerinnen und -teilnehmer. Im weiteren Sinne sind auch die Dozenten von der Evaluation betroffen, weil diese Einfluss auf das Seminarkonzept nehmen. Auftraggeber ist in der Regel der Unfallversicherungsträger.

3.Zweck der Evaluation bestimmen:
Zum einen soll die Evaluation Stärken und Schwächen des Seminarkonzepts identifizieren (formative Evaluation). Die Evaluation verfolgt also den Zweck der Optimierung. Zum anderen soll die Wirksamkeit des Seminars ermittelt werden (summative Evaluation), was dem Zweck der Legitimation dient (s. Kap. 4).

4.Erstellung eines Wirkungsmodells:
Bei der Evaluation von Seminaren wird häufig das Vier-Ebenen-Modell von Kirkpatrick (1987) eingesetzt (s. Kap. 7):

• Reaction (= Reaktionsebene)
• Learning (= Lernerfolg der Person)
• Behavior (= Änderung im Verhalten)
• Result (= Effektivität der Qualifizierungsmaßnahme)

5.Ermittlung von Fragestellungen und Indikatoren
Auf Basis des Vier-Ebenen-Modells von Kirkpatrick können die Fragestellungen und Indikatoren direkt abgeleitet werden:

• Reaction (= Reaktionsebene): Wird die Qualifizierungsmaßnahme von den Teilnehmenden in ihren einzelnen Bestandteilen und insgesamt positiv bewertet? Was läuft gut, was kann verbessert werden?
• Learning (= Lernerfolg der Person): Haben die Teilnehmenden theoretische Grundlagen sowie verhältnis- und verhaltenspräventive Einzelmaßnahmen zum Thema Rückengesundheit erlernt und somit ihre Gesundheitskompetenz gesteigert?
• Behavior (= Änderung im Verhalten): Wenden die Teilnehmenden die verhältnis- und verhaltenspräventive Einzelmaßnahmen in ihrem Arbeitsumfeld an?
• Result (= Effektivität der Maßnahme): Hat sich das allgemeine Wohlbefinden der Teilnehmenden verbessert?

6.Design und Methodik festlegen:

Zur Evaluation von Qualifizierungsmaßnahmen hat sich die Methode der schriftlichen Befragung bewährt. Häufig werden Qualifizierungsmaßnahmen nur während und unmittelbar nach der Maßnahme evaluiert. Mit diesen Erhebungen können zumindest Rückschlüsse zur Reaktionsebene sowie zum Lernerfolg der Teilnehmenden gezogen werden und Stärken und Schwächen der Qualifizierungsmaßnahme ermittelt werden.

Will man allerdings auch Aussagen zur Verhaltensänderung und Effektivität der Qualifizierungsmaßnahme treffen, sollten die Teilnehmenden auch vor dem Seminar befragt werden (Vorher-Nachher-Messung).

Langfristige Effekte lassen sich erst dann messen, wenn eine weitere Messung mit zeitlichem Abstand zur Qualifizierungsmaßnahme erfolgt (Follow-Up-Messung).

Als Königsweg der Evaluation, der in der Praxis in der Regel kaum realisierbar ist, gilt außerdem der Vergleich über alle Messzeitpunkte mit einer Kontrollgruppe, die keine Qualifizierungsmaßnahme erhalten hat. Als Beispiel soll hier die Vorher-Nachher-Messung plus Follow-Up-Messung ohne Kontrollgruppe weiter dargestellt werden.

7.Datenerhebung, Auswertung und Interpretation:
Die Seminarteilnehmerinnen und -teilnehmer erhalten vorher, unmittelbar nach dem Seminar und 3 Monate später einen Fragebogen mit Fragen zu folgenden Themenblöcken:

• Bewertung der Qualifizierungsmaßnahme durch die Teilnehmenden (nur nachher)
• Wissenstest zur verhältnis- und verhaltenspräventiven Einzelmaßnahmen zum Thema Rücken
• Anwendung von Einzelmaßnahmen im Arbeitsalltag
• Fragen zum allgemeinen Wohlbefinden

Zur statistischen Auswertung werden mit Hilfe eines Statistikprogramms in der Regel Mittelwerte und Häufigkeiten berechnet. Darüber hinaus lässt sich prüfen, ob bezüglich der Indikatoren eine signifikante Veränderung zwischen den Messzeitpunkten erfolgt ist (statistische Tests auf Mittelwertunterschiede).

Zur besseren Interpretation der Ergebnisse der statistischen Tests wird prozessbegleitend dokumentiert, wie die Präventionsmaßnahmenabwicklung (= die Seminardurchführung) abgelaufen ist: z.B. wie viele der angemeldeten Seminarteilnehmenden haben tatsächlich am Seminar teilgenommen, hat der Dozent tatsächlich zum Thema "Rückenfit" referiert, ist es während der Seminardurchführung zu erheblichen Ablenkungen der Seminarteilnehmenden von außen gekommen (z.B. Lärm)? Die Erfassung der Präventionsmaßnahmenabwicklung ist wesentlich bei der Überprüfung angenommener Wirkungsverläufe.

8.Ergebnisdarstellung und Präsentation
Die Ergebnisse müssen für alle Beteiligten verständlich dargestellt und rückgemeldet werden. Aus den Ergebnissen sollten Maßnahmen ableitbar sein, die zur Optimierung der Qualifizierungsmaßnahme beitragen.

9 Evaluationsbeispiele zu Präventionsleistungen in der gesetzlichen Unfallversicherung

Die Unfallversicherungsträger setzen unterschiedliche Präventionsmaßnahmen um.

Die "Präventionsleistungen der Unfallversicherungsträger" (DGUV, 2009) bietet eine praxisorientierte Übersicht (vgl. Abb. 2).

Abb. 2 Übersicht über Präventionsleistungen der Unfallversicherungsträger

Angesichts begrenzter personeller und finanzieller Ressourcen bei den Unternehmen, Dienstleistern und der Unfallversicherungsträger ist der Nachweis, dass Präventionsmaßnahmen wirksam umgesetzt werden, wichtig. Evaluation ist dabei ein Instrument zur Qualitätssicherung.
In der Prävention werden beispielsweise sowohl einzelne Informationsmaterialien als auch komplexe Kampagnen evaluiert, um zu prüfen, ob deren Ziele erreicht wurden. Welche Ziele genau angestrebt werden (z.B. Bekanntheitsgrad, Relevanz für betriebliche Aktivitäten, etc.) kann je nach Unfallversicherungsträger, nach Anlass für die Projektierung einer solchen Maßnahme unterschiedlich sein.

Weiterhin wird untersucht, wie Vorschriften und Regeln umgesetzt werden. In den Jahren 2005 bis 2007 haben die Berufsgenossenschaften und die Eisenbahn-Unfallkasse mit der Unfallverhütungsvorschrift "Betriebsärzte und Fachkräfte für Arbeitssicherheit" ein neues Konzept zur betriebsärztlichen und sicherheitstechnischen Betreuung kleiner Betriebe eingeführt und im Anschluss die betriebliche Umsetzung der Betreuungsmodelle evaluiert.

Im Feld der Qualifizierung ermittelt man die Qualität von Schulungen und den erfolgten Bildungstransfer. Die Tabelle 1 gibt einen Überblick über konkrete Evaluationsbeispiele.

Tabelle 1: Evaluationsbeispiele

Spezielle Beispiele aus Kita und Schule: Im Rahmen der Lehrerausbildung im Sportstudium werden z.B. Konzepte zum präventiven Verhalten entwickelt und evaluiert. Im Bereich der Kindertageseinrichtungen werden Konzepte zur Bewegungsentwicklung erarbeitet, dazu ergänzend Fortbildungen für Erzieherinnen und Erzieher abgeleitet und dahingehend evaluiert, ob die Bewegungsentwicklung der Kinder positiv beeinflusst werden kann.

10 Aufgaben des Sachgebiets Evaluation

Das vorliegende Leitpapier ist im Sachgebiet Evaluation des Fachbereichs Organisation des Arbeitsschutzes entstanden. Weitere Ziele und Aufgaben des Sachgebiets Evaluation, die sich aus dem Grundsatz 401 der DGUV ergeben, sind:

• Beobachtung, Auswertung sowie Förderung von Entwicklungen,
• Zusammenführung von Erkenntnissen und Fachmeinungen und Unterstützung beim Transfer der Erkenntnisse,
• Entwicklung praxis- und zielgruppenorientierter Medien, Seminare,
• Beratung von UV-Trägern, staatlichen Stellen, Betrieben, Externen,
• Interessenvertretung und Kooperation mit externen Gremien und Fachleuten,
• Unterstützung bei Evaluation von Produkten und Dienstleistungen,
• Initiierung und Begleitung von Forschungsvorhaben,
• Erarbeitung von Stellungnahmen,
• Unterstützung Öffentlichkeitsarbeit und Berichtswesen,
• Beratung bei speziellen Fragen,
• Lobbyarbeit für Entscheidungsträger,
• Vermarktung von Erkenntnissen.

11 Literatur

Deutsche Gesellschaft für Evaluation (2002): Standards für Evaluation. Köln.

Donabedian, A. (1966). Evaluating the Quality of Medical Care. Milbank Memorial Fund Quarterly: Health and Society, 44, 166-203.

Hummelbrunner, R. (2011). Process Monitoring of Impacts. In: Williams B, Hummelbrunner R: Systems Concepts in Action - a Practioner's Toolkit. Stanford University Press, Stanford, S. 92-107.

Kirkpatrick, D. L. (1987): Techniques for Evaluating Training Programs. In: Kirkpatrick, D. L. (Hg.): More Evaluating Training Programs. Alexandria: American Society for Training and Development.

McGuire, W.J. (1989). Theoretical foundations of campaigns, In Rice, R. E., & Atkin, C. K. (Eds.), Public Communication Campaigns (2nd ed.) (pp. 43-65). Newbury Park, CA: Sage Publications.

Phasenmodell der Kampagnenwirkung von BZgA: www.bzga.de Präventionsleistungen der Unfallversicherungsträger (DGUV, 2009)

Schmidt, U. (2010): Qualitätssicherung der Evaluation. In IAG-Report 1/2010, 1. Fachgespräch Evaluation - "Standards setzen?!". S. 20-24. Berlin: DGUV.

Stufflebeam, D.L. (1999). Foundational Model for 21st Century - Program Evaluation. The Evaluation center Occasional Papers Series

Taskan-Karamürsel, E. & Wetzstein, A. (2010).
Die Evaluation der Präventionskampagne "Risiko raus!". DGUV-Forum, 1-2, S. 16-19.

Westermann, Rainer (2002): Merkmale und Varianten von Evaluationen: Überblick und Klassifikation. In: Zeitschrift für Psychologie 210 1, S. 4-26.

Wetzstein, A. & Hessemöller, A.-M. (2012). Wirkungsmodelle. Vortrag auf der Konferenz der Präventionsleiter der gesetzlichen Unfallversicherung am 23. Februar 2012 in Dresden.

__________

ENDE