Vom Gefühl zur Analyse – Wirkung greifbar machen

Wirkungsorientierung als Leitprinzip

Unter dem Begriff Wirkungsorientierung wird ein Leitprinzip und eine Haltung verstanden, die eigene Arbeit an der zu erzielenden Wirkung auszurichten. Hierbei ist festzustellen, dass Wirkungsorientierung mehr ist als eine Wirkungsanalyse. Vielmehr umfasst Wirkungsorientierung mehrere Prozessschritte, zu der auch eine allgemeine Verständigung und eine wirkungsorientierte Entwicklung von Angeboten und Leistungen gehört (Fuchs, 2021; Ottmann & König, 2023). Für die praktische Arbeit in zivilgesellschaftliche Organisationen bedeutet dies, dass Wirkungsorientierung als ein Leitprinzip fest verankert sein soll. Es erscheint daher nicht zielführend, einmalig eine Wirkungsanalyse durchzuführen, sondern vielmehr soll das Thema Wirkungsorientierung kontinuierlich gelebt werden.

Ab wann kann ich von einer Wirkung sprechen?

In diesem Zusammenhang ist es wichtig, sich den Begriff der Wirkung genau anzuschauen. Denn dieser gibt erste Hinweise, was bei der empirischen Erfassung von Wirkungen mit Daten beachtet werden muss. Wirkung kann als „eingetretene Veränderungen oder Stabilisierungen bei den Zielgruppen eines (…) Programms (…), die ursächlich auf dieses Programm zurückgehen“ (Balzer & Beywl, 2015) verstanden werden. In dieser Definition sind zwei wichtige Bestandteile enthalten:

• Um eine Wirkung nachweisen zu können, muss ich in einem ersten Schritt schauen, ob es bei meiner Zielgruppe eine Veränderung oder Stabilisierung gegeben hat. Wie bereits geschrieben kann neben der Wirkung bei der Zielgruppe auch die gesellschaftliche Wirkung in den Blick genommen werden. Es müsste dann geprüft werden, ob es in der Gesellschaft die gewünschte Veränderung oder Stabilisierung gibt.
• Neben dem Erfassen der Wirkung muss aber auch eine Aussage getroffen werden, ob dieser Effekt wirklich auf ein konkretes Angebot oder die Organisation zurückgeht. Dies ist der sogenannte kausale Mechanismus. Wie dies genau in der Praxis geht, sehen wir gleich hier im Blog-Beitrag.

Wirkmodell als Ausgangspunkt

Bevor man sich Gedanken macht, welche Daten man für den Wirkungsnachweis erheben kann oder bereits vorliegen hat, sollte man sich über die zu erzielenden Wirkungen klar werden. Eine Möglichkeit ist hierbei die Erstellung eines Wirkmodells. Hier gibt es unterschiedliche Formen, angefangen von einer ‚einfachen‘ Wirkungskette bis zu komplexeren Darstellungen von Wirkmodellen. In einer Wirkungskette werden folgende Elemente beschrieben:

• Input (z. B. Personal, finanzielle Mittel)
• Aktivitäten
• Output (Resultate des Angebotes oder Organisation, die aber noch keine Wirkung darstellen. Ein Beispiel wäre die Akzeptanz des Angebotes und die Anzahl von durchgeführten Beratungsgesprächen).
• Outcome
• Impact

Eine Wirkungskette kann man auch erweitern zu einem komplexeren Wirkmodell. In diesem kann dargestellt werden, welche Hauptwirkungen erzielt werden sollen und welche Teilwirkungen hierfür nötig sind. Auch kann in einem solchen Wirkmodell auf Kontextfaktoren eingegangen werden, die auch einen Einfluss, neben dem Angebot oder der Organisation, auf die Erzielung der gewünschten Wirkungen hat.

Wie man ein Wirkmodell erstellen kann, kann hier in einem Blog-Beitrag nachgelesen werden. Auch gibt es für bestimmte Angebote im Bereich der Sozialen Arbeit sogenannte Ankerwirkmodelle, die man für das eigene Angebot anpassen kann.

Wirkungsindikatoren definieren

In einem nächsten Schritt müssen dann konkrete Wirkungsindikatoren definiert werden. Hierbei können die definierten Outcomes im Wirkmodell näher betrachtet werden. Prinzipiell gibt es Wirkungsindikatoren, die leicht zählbar sind, etwa die Anzahl der Jugendlichen, die nach einem Projekt zur Berufsvorbereitung einen Ausbildungsplatz erhalten haben. Oft ist es aber sinnvoll, auch sogenannte qualitative Wirkungsindikatoren zu definieren. Das sind Indikatoren, die Fähigkeiten, Kompetenzen oder Wissen in den Blick nehmen und von deren Erwerb man als Wirkung ausgeht. Ein Beispiel könnte hier der Erwerb von emotionaler Kompetenz sein. Emotionale Kompetenz ist ein Konstrukt, das man nicht direkt messen kann. Daher muss in einem ersten Schritt eine sog. Operationalisierung stattfinden. Das heißt, man überlegt sich, welche Teilbereiche emotionale Kompetenz umfasst und wie man diese erfassen kann. Oft wird dies mit Fragebogenitems gemacht, die auf einer Skala (z. B. stimmte voll und ganz zu vs. stimmte überhaupt nicht zu) bewertet werden. Das hört sich erst einmal kompliziert an, die gute Nachricht ist aber, dass es für viele Konstrukte schon entsprechend entwickelte Messinstrumente gibt. Für die emotionale Kompetenz ist dies unter anderem der SEK-27. Das GESIS – Leibniz-Institut für Sozialwissenschaften bietet mit dem Open Access Respositorium für Messinstrumente eine Suche für bereits bestehende Messinstrumente, die frei eingesetzt werden können, an.

Wurden Indikatoren definiert und festgelegt, muss geklärt werden, wie diese erhoben werden. Prinzipiell gibt es hier die Möglichkeit der Selbsteinschätzung. Dies bedeutet, dass die Teilnehmenden eines Angebotes einen Fragebogen erhalten, den diese ausfüllen. Als Alternative könnte auch eine Fremdeinschätzung infrage kommen oder diese wird mit der Selbsteinschätzung kombiniert. Bei einer Fremdeinschätzung gibt eine (pädagogische) Fachkraft oder andere Personen eine Einschätzung ab.

Zwei Zeitpunkte für die Wirkung in den Blick nehmen!

Um Wirkungen nachweisen zu können, müssen sogenannte quantitative Methoden eingesetzt werden. Daher wird hier häufig mit Erhebungen durch Fragebögen gearbeitet. Da wir in einem ersten Schritt Veränderungen oder Stabilisierungen in den Blick nehmen, muss eine Erhebung an mindestens zwei Zeitpunkten erfolgen. Dies kann zu Beginn und zum Ende eines Angebotes sein. Gibt es kein festes Ende, kann man auch eine jährliche Erhebung durchführen. Hier empfiehlt sich langfristig der Aufbau eines sogenannten wirkungsorientierten Monitorings.

Wichtig ist, dass die erhobenen Daten nicht nur für die Legitimierung und die Darstellung in der Öffentlichkeit verwendet werden. Vielmehr sollen die Daten auch intern genutzt werden, im Hinblick auf eine regelmäßige Reflexion und fachliche Weiterentwicklung. Mit dem beschriebenen Vorgehen können sog. Effekte erhoben werden, also Veränderungen und Stabilisierungen. Um Wirkungen empirisch nachweisen zu können, braucht es ein sogenanntes Vergleichs- oder Kontrollgruppendesign. Bei diesem werden nicht nur Personen befragt, die am Angebot teilnehmen, sondern auch Personen, die ähnliche Merkmale und / oder Problemlagen haben, aber nicht am Angebot teilnehmen. Treten in der Maßnahmengruppe höhere Veränderungen oder Stabilisierungen auf, kann man von einer Wirkung ausgehen.

In der Praxis ist aber die Durchführung eines solchen Designs oft schwierig. So erreicht man oft Personen in der Kontrollgruppe nicht oder kann aus ethischen Gründen eine solche nicht bilden. Besteht die Möglichkeit, eine Intervention zeitversetzt anzubieten, kann oft gut eine Kontrollgruppe gebildet werden. Dann kann mit einem sogenannten Wartekontrollgruppendesign gearbeitet werden. Beispielsweise erhalten dann nicht alle Schulklassen gleichzeitig die Intervention, sondern erst die eine Hälfte und nach einem halben Jahr die zweite Hälfte.

Sollte die Bildung einer Vergleichs- oder Kontrollgruppe nicht möglich sein, kann man sich mit der Methode der Wirkungsplausibilisierung (Balzer, 2012; Ottmann, Helten & König, 2024) der Frage nach der Wirkung näheren. Bei dieser Methode kann man sich im Rahmen eines Workshops mit Mitarbeitenden folgenden Fragen widmen:

• Welchen Anteil haben wir an den gefundenen Effekten?
• Welche weiteren Faktoren gibt es, die die Effekte beeinflussen können.

Neben dem Austausch mit den Mitarbeitenden können auch Interviews oder Fokusgruppen mit den Teilnehmenden an den Angeboten geführt werden. So kann man sich der Frage nach der Wirkung annähern und kann am Ende plausibilisierte Wirkungen darstellen.

Bestehende Daten nutzen!

In dem Prozess ist es nicht immer nötig, neue Fragebögen oder Datenerhebungen zu entwickeln. Oft gibt es auch schon viele Daten, die in Organisationen erhoben werden. Dies können bereits bestehende Befragungen der Zielgruppe sein oder auch Dokumentationen, z. B. in sozialpädagogischen Angeboten. Daher empfiehlt es sich immer, vor der Entwicklung neuer Erhebungsformate, zu prüfen, ob nicht bereits Daten vorhanden sind. Hierbei sollte geprüft werden, ob die Daten schon systematisch genug erhoben (an mindestens zwei Erhebungszeitpunkten) und ausgewertet werden.

Fazit

In diesem Blog-Beitrag wurde dargestellt, welche Aspekte man bei einer Wirkungsanalyse beachten sollte und wie man zu Wirkungsindikatoren kommt. Als zivilgesellschaftliche Organisation empfiehlt es sich, sich darüber Gedanken zu machen, welche Wirkungen man erzielen möchte und auch wie man diese erfassen kann. Die Antwort auf die erste Frage kann in einem Wirkmodell festgehalten werden. Für die zweite Frage muss ein entsprechendes Erhebungs- und Auswertungssystem entwickelt werden. Gerade bei dieser Entwicklung kann es sinnvoll sein, sich von einer externen wissenschaftlichen Begleitung unterstützen zu lassen. Erste Schritte können aber auch schon im Kleinen gegangen werden. Sprachfähiger über die Wirkungen der eigenen Arbeit zu werden, lohnt sich. Prinzipiell für die fachliche Reflexion und Weiterentwicklung, aber auch für die Legitimierung der eigenen Arbeit in Zeiten von sinkenden öffentlichen Haushalten und Finanzierungsmitteln.

Weitere Informationen zum Thema gibt es in einem Online-Kurs, der kostenfrei auf der Plattform OPEN vhb (nach einer Registrierung) abgerufen werden kann und im Buch „Wirkungsorientierung in der Sozialen Arbeit“.  Bei weiteren Fragen zum Thema steht auch die kostenfreie Wirkungssprechstunde des Kompetenzzentrums Wirkungsorientierung in der Sozialen Arbeit an der Evangelischen Hochschule Nürnberg zur Verfügung.

Literatur

• Balzer, L. (2012). Der Wirkungsbegriff in der Evaluation – eine besondere Herausforderung. In G. Niedermair (Hrsg.), Evaluation als Herausforderung der Berufsbildung und Personalentwicklung (1. Auflage, S. 125–141). Linz: Trauner.
• Balzer, L. & Beywl, W. (2015). evaluiert: Planungsbuch für Evaluationen im Bildungsbereich (1. Auflage.). Bern: hep verlag ag.
• Fuchs, N. (2021). Wirkungsorientierung – Qualitätsentwicklung und eine Frage der Haltung. Gehalten auf der Qualitätsentwicklungswerkstatt im Projekt Qualitätsdialog Frühe Hilfen (NZFH) am 29.04.2021.
• Ottmann, S., Helten, A.-K. & König, J. (2024). Messen oder Plausibilisieren? Methoden der Wirkungsanalyse in der Sozialen Arbeit. Soziale Arbeit, 73(1), 9–16. https://doi.org/10.5771/0490-1606-2024-1-9
• Ottmann, S. & König, J. (2023). Wirkungsorientierung in der Sozialen Arbeit. Eine Einführung für Studium und Praxis (Grundwissen Soziale Arbeit) (1. Auflage, Band 45). Stuttgart: Kohlhammer Verlag.