Civic Data Lab Startseite
Die ehrenamtliche Leitung des Jugendmusikprojekts TEN SING wollte wissen: Was macht uns aus? Wie viele sind wir überhaupt? Was brauchen unsere Engagierten? Das CDL unterstützte TEN SING bei der Entwicklung von jährlich durchzuführenden Befragungen und bei der Datenauswertung.
TEN SING ist ein Jugendmusikprojektangebot des CVJM, das deutschlandweit in Ortsgruppen mit Jugendlichen als Teilnehmende und Engagierte stattfindet. Die bundesweit vernetzende Programmgruppe will es genauer wissen: was macht TEN SING aus, wie können die Ortsgruppen unterstützt werden und wie viele TEN SINGende gibt es wirklich? Dies soll eine jährliche Erhebung zeigen. Dafür entwickelten die Engagierten auf Bundesebene gemeinsam mit dem CDL einen Fragebogen und führten erste Erhebungen sowie erste Analysen für 2024 und 2025 durch. Ziel ist, durch jährliche Online-Umfragen auch Veränderungen in Zeitreihen sichtbar zu machen. Die Daten sollen zur Planung von Unterstützungsangeboten genau wie zum Reporting und Fundraising verwendet werden.
Im ersten Schritt wurden dazu die Ziele und Interessen der Programmgruppe konsolidiert und in Forschungsfragen abgebildet. Mit diesem Leitziel wurden Fokusgruppen mit Engagierten durchgeführt. Die Erkenntnisse daraus mündeten in zwei Fragebögen.
Eine erste Erhebungswelle fand 2024 statt, gestützt durch verschiedene Anreize für Teilnehmende. Die Analyse stand vor der Herausforderung, dass auch auf Deutschlandebene immer wieder mit wechselnden Ehrenamtlichen mehrerer Generationen mit unterschiedlichen Fähigkeiten zu rechnen sein wird. Geplant wurde daher die (Teil-)automatisierung der Auswertung jährlicher Umfrageergebnisse und ihre Darstellung als Dashboard mit Interpretationshilfen. Letztlich zeigte sich schon im Jahr 2025, dass die jährliche Wiederholung und Erweiterung der Auswertung nicht völlig ohne Ressourcen und Unterstützung von außen realisierbar sein wird – es existierten zu diesem Zeitpunkt keine technischen Lösungen, die die Ansprüche KDG-Konformität, langfristige Wart- und Anpassbarkeit durch nicht-technische Nutzer*innen und vollumfängliche Auswertungsmöglichkeiten bei geringen wiederkehrenden Kosten in sich vereinen. Vor allem die Anforderung „Serverstandort in Deutschland“ aus dem Kirchlichen Datenschutzgesetz stellte sich als KO-Kriterium heraus, da viele niedrigschwellige Software-as-a-Service Tools in den USA oder (wenn überhaupt) auf außerdeutschen, europäischen Servern gehostet werden.
Da keine allumfassende Lösung gefunden werden konnte, wurden die Anforderungen angepasst: Anstatt dass sich TEN SING Ehrenamtliche in die Durchführung einer Umfrage inkl. Anpassungen und die Wartung eines Datenprodukts einarbeiten, können sie sich in den kommenden Jahren bei CorrelAid e.V. melden und niedrigschwellig ehrenamtliche Data Science Expertise einzuholen. So wird sichergestellt, dass jedes Jahr die Skills vorhanden sind, um die Umfrage durchzuführen und die Auswertung zu aktualisieren. Gleichzeitig wurde durch diese Entscheidung die technische Umsetzung deutlich vereinfacht, da gewisse Daten- und Programmierkenntnisse in der Zukunft vorausgesetzt werden konnten.
Die Auswertung – in R und quarto umgesetzt – konnte schließlich Ende 2025 finalisiert und online gestellt werden. Die Website ist für alle Interessierten offen zugänglich und zeigt neben Auswertungen für 2024 und 2025 auch Trends auf. Die Auswertung gibt allen Ehrenamtlichen von TEN SING Einblicke in ihre Organisation und befähigt die ehrenamtliche Programmgruppe, ihre Arbeit zu steuern und externen und internen Stakeholdern sichtbar zu machen, Bedarfen aus den Ortsgruppen und Regionen zu begegnen und passende Maßnahmen und Angebote zu entwickeln – zum Beispiel in Fortbildungen oder Gewinnung neuer Ehrenamtlicher.
Datenerhebung
Datenauswertung
Gute Erhebungen und Auswertungen sind eine Investition: Online-Umfragetools vermitteln den Eindruck, dass Erhebung und Auswertung schnell umgesetzt sind. In der Praxis zeigt sich jedoch, dass insbesondere Fragebogendesign, Datenstrukturierung und langfristig angelegte Auswertung fundierte Überlegungen, methodisches/technisches Wissen und ausreichend Zeit erfordern.
Pragmatische Tool-Auswahl: Bei der Auswahl des Erhebungstools waren geringe Komplexität und mobile Nutzbarkeit für Teilnehmende der Umfrage sowie Kostenfreiheit ausschlaggebend. KoboToolbox erfüllte diese Kriterien gut. Die Erfahrung zeigt, dass eine klare Priorisierung der Anforderungen wichtiger ist als der Versuch, alle denkbaren Funktionen abzudecken.Unsere Recherchen haben wir für eigene Kriteriensetzung in Folgeprojekten als Bewertungsmatrix zusammengestellt.
Eine gute Auswertung umzusetzen, ist komplex und erfordert Kompromisse bei den Anforderungen: Der Wunsch nach niedrigschwelliger Bedienbarkeit und Wartbarkeit durch nicht-technische Nutzer*innen, umfangreichen Auswertungsmöglichkeiten, sowie KDG*-konformer Infrastruktur lässt sich technisch derzeit nicht abbilden. Hier waren Abstriche notwendig. Zum Beispiel wurde auf eine vollständige Automatisierung der Datenpipeline in der Cloud verzichtet. Außerdem wurde die Aktualisierung und Wartung der Lösung nicht bei TEN SING abgebildet.
*Gesetz über den Kirchlichen Datenschutz
Externe Expertise gezielt einzubinden erhöht die zur Verfügung stehenden technischen Umsetzungsmöglichkeiten: Gerade bei jährlich wiederkehrenden Auswertungen ist es akzeptabel und effizient, punktuell externe Expertise einzubeziehen anstelle sich selbst viele neue Kompetenzen anzueignen. So wurde vereinbart, dass TEN SING sich in den kommenden Jahren an CorrelAid e.V. wenden kann, um punktuell Expertise über CorrelAid-Volunteers einzuholen, um die Jahresauswertung zu aktualisieren. Diese Entscheidung nahm Druck vom TEN SING Team und eröffnete einen weit größeren technischen Lösungsraum für die Umsetzung.
Umfragen sind Organisationsprojekte – keine Nebenaufgabe: Die Umsetzung einer jährlichen Erhebung inklusive Auswertung ist deutlich arbeitsintensiver als zunächst angenommen. Begrenzte Zeit, Ressourcen und Kompetenzen wirken sich direkt auf Planung, Durchführung und Qualität aus und müssen von Beginn an realistisch berücksichtigt werden.
Beteiligung braucht jedes Jahr neue Ressourcen: Der Erfolg der Umfrage hängt maßgeblich von der Teilnahmebereitschaft ab. Im ersten Jahr wurden dafür verschiedene Anreize gesetzt: Die Umfragen wurden auf Veranstaltungen mit vielen Teilnehmenden aus TEN SING Ortsgruppen kommuniziert und direkt vor Ort ausgefüllt. Zudem konnten Teilnehmende kleine Goodies gewinnen. Eine frühzeitige Bewerbung schon vor Beginn der Erhebungszeit steigerte zudem die Aufmerksamkeit. So konnte im ersten Jahr eine zufriedenstellende Beteiligung erreicht werden. Im zweiten Jahr verringerte sich die Beteiligung auf 35% – 50% (je nach Fragebogen) des Vorjahres. Ob das mit weniger Anreizen als im Vorjahr zusammenhängt (, denn Gewinne können nicht jedes Jahr verteilt werden,) oder sich eine Ermüdung durch Wiederholung des Fragebogens zeigt, kann aktuell nicht beurteilt werden.
Komplexität erhöht die Anforderungen an Ehrenamtliche: Die Entscheidung, zwei unterschiedliche Fragebögen für Ortsgruppen und Einzelpersonen einzusetzen, ermöglichte eine differenzierte Datenerhebung, erhöhte aber zugleich den organisatorischen Aufwand und die Anforderungen an die Aktivierung Ehrenamtlicher.
Nicht alle wollen Daten selbst auswerten – und das ist in Ordnung: Es wurde deutlich, dass gerade ehrenamtliche Engagierte in Führungspositionen selten die zeitlichen Ressourcen haben, sich intensiv mit der Gestaltung oder inhaltlichen Ausarbeitung von Auswertungen auseinanderzusetzen. Ein proaktives “an die Hand nehmen” durch externe Expert*innen – z.B. durch das Vorschlagen von Auswertungen, Textbausteinen und Visualisierungen – und Arbeiten mit Feedbackschleifen ist in solchen Fällen zielführender als zu erwarten, dass sich Personen mit begrenzten Ressourcen tief einarbeiten.
Die TEN SING Projektgruppe - die ehrenamtliche Leitung von TEN SING Deutschland - initiierte das Datenvorhaben, brachte stetig ihre inhaltliche Expertise ein und stellte Kontakte zu den Regionen und Ortsgruppen für die Fokusgruppen her.
Erfahre mehr
Das Team des Instituts für Praxisforschung und Evaluation entwickelte den Fragebogen und führte hierzu u.a. Fokusgruppen und Tests durch.
Erfahre mehr
Johanna finalisierte als Dienstleisterin die Website und die Datenvisualisierungen und strukturierte die Codebasis so, dass künftige Jahresauswertungen leicht umsetzbar sind.
Vom CDL Team waren Nevena, Angela und Leo beteiligt.
Datenvorhabenteam im Civic Data Lab leo.p@correlaid.org Kontakt in HumHub
CDL Team nevena.n@correlaid.org Kontakt in HumHub
Freelancerin johanna.weiss97@gmail.com Kontakt in HumHub
