Voraussetzung für die Wirksamkeitsmessung von sozialen Interventionen ist, dass die Akteure ihre Zielgruppe sehr genau kennen und ihre Ziele definiert haben. Detailliert, umfassend und differenziert in Bezug auf kurzfristige, mittelfristige und langfristige Effekte. Und definiert haben, wie man das Erreichen dieser Ziele abfragen und belegen kann. In Kombination mit internen Maßnahmen der Wirkungsorientierung kann es dann sinnvoll sein, externe Partner für eine Evaluation zu gewinnen.
Die Qualität externer Evaluationen von sozialen Programmen variiert stark. Ergebnis ist nicht gleich Ergebnis. Die Spannbreite reicht von einer bloßen Abfrage der Teilnehmerzufriedenheit bis zu randomisierten Kontrollstudien (RCT = Randomized Controlled Trial), durch die Effekte bei der Zielgruppe kausal auf die soziale Intervention zurückgeführt werden können – der sogenannte Gold-Standard. Die strenge Aussage unseres Partners Prof. Armin Falk am Behaviour and Inequality Research Institute (briq) der Universität Bonn „Wenn kein RCT möglich ist, dann gar nicht evaluieren lassen“ ist nachvollziehbar. Weil RCTs für viele Organisationen aber nicht möglich sein werden, muss man im sozialen Sektor die Latte möglicherweise etwas tiefer legen.
Auch unter Gold-Niveau können externe Evaluationen Wirkungshinweise liefern. Was ist bei der Zusammenarbeit mit einem externen wissenschaftlichen Partner zu beachten?
Ist unser externer Partner der passende Partner?
Neben dem Fachgebiet des externen Partners ist dessen Verständnis des zu untersuchenden Programms und seine Erfahrung mit Wirkungsanalysen von zentraler Bedeutung. Die Lektüre bisheriger Studien kann helfen, sich ein Bild zu machen, wie der potentielle Partner bislang gearbeitet hat.
Wer hat den Hut auf? Welche Bedeutung hat unsere Evaluation für den externen Partner?
An vielen Forschungseinrichtungen ermöglichen Assistenten sicherlich überhaupt erst die Bearbeitung mehrerer paralleler Projekte. Bei einer Wirkungsanalyse sollten sie jedoch nur unterstützen. Die Hauptarbeit gehört in die Hände von Leitung und erfahrenen Kräften. Versäumnisse und Fehler kommen sonst alle Beteiligten, vor allem aber die soziale Organisation, teuer zu stehen. Fehler im Untersuchungsdesign oder der Durchführung machen die Evaluation im schlimmsten Fall wertlos.
Werden unsere Gegebenheiten vor Ort in Forschungsdesign und Vorgehen der externen Partner berücksichtigt?
Natürlich definieren die externen Partner das Forschungsdesign und legen das Vorgehen bei den Befragungen fest. Zu einer guten Zusammenarbeit gehört allerdings auch, in Frage stellen zu können. Droht beispielsweise ein Befragungssetting in der Gruppe zu gegenseitiger Beeinflussung der Befragten und somit zu Veränderung der Antworten zu führen, dann darf die soziale Organisation zugunsten der Gesamtqualität der Studie intervenieren und Änderungen einfordern.
Geht die Auswertung ausreichend auf unsere Zielgruppe und Programmziele ein?
Auch wenn die Auswertung der generierten Daten zunächst den externen Partnern vorbehalten ist, so kann die Diskussion darüber oder Zusammenarbeit daran wertvoll sein. Denn nicht selten geht eine Datenauswertung auf die gesamte Gruppe der Befragten ein und verwischt die Unterschiede zwischen den Extremen. Soziale Organisationen kennen ihre Zielgruppe und ihre Ziele am besten. Sie sollten deshalb eine möglichst differenzierte Auswertung einfordern – zugunsten aussagekräftigerer Ergebnisse.
Rechtfertigen Ansatz und Umfang der Studie unseren Aufwand?
Im besten Fall bringt eine Wirkungsanalyse der sozialen Organisation den begehrten Nachweis „Das Programm wirkt.“ Sie kostet aber auch Geld und verursacht zusätzliche Arbeit – auch bei der sozialen Organisation. Eine Wirkungsanalyse erfordert Geduld und Beharrlichkeit, manchmal sogar Mut. Sollten Zweifel bestehen, ob eine externe Evaluation ihren Aufwand und ihre Kosten wirklich wert ist, dann ist es möglicherweise sinnvoller, stattdessen zunächst in interne Maßnahmen der Wirkungsorientierung zu investieren.
Entscheidet sich eine soziale Organisation für eine externe Wirkungsanalyse, dann bitte mit vollem Einsatz und Selbstbewusstsein. Denn auch bei Wirkungsanalysen selbst darf, nein muss, maximale Wirksamkeit eingefordert werden.
Mehr zum Thema: Was ist Wirkung?