Auswertung einer Umfrage mit digital verein(t) –

KI im Ehrenamt

Wie steht es um die Nutzung von Künstlicher Intelligenz in der Vereinslandschaft in Deutschland? Dieser Frage ging digital verein(t), in einer kürzlich durchgeführten Umfrage unter 250 Vereinen nach. In Zusammenarbeit mit dem Civic Data Lab-Team und Volunteers von CorrelAid wurden im Rahmen eines Datenprojektes die Ergebnisse der Umfrage detailliert ausgewertet und visualisiert.

Abgeschlossen
Umfrage
Datenauswertung

digital verein(t) ist ein Projekt der Landesarbeitsgemeinschaft der Freiwilligenagenturen in Bayern (lagfa bayern e.V.) in Kooperation mit Deutschland sicher im Netz e.V. und wird gefördert durch das Bayerische Staatsministerium für Digitales. Ziel des Projekts ist, ehrenamtlich engagierten Menschen und Vereinen die Chancen der Digitalisierung aufzuzeigen und ihnen zu souveränen Entscheidungen in Umgang mit der Digitalisierung zu verhelfen.

Das CDL unterstütze digital verein(t) bei der Auswertung und Visualisierung einer Umfrage unter bayerischen Vereinen zu der Nutzung von KI im Ehrenamt, die Ende 2024 durchgeführt wurde. Mit dem CDL arbeiteten bei der Visualisierung auch CorrelAid Volunteers mit, die hier ihr Expert*innen-Wissen einbrachten. Das Projekt erlaubt nicht nur Einblick in den aktuellen Stand der KI-Nutzung in Vereinen, sondern bietet auch wertvolle Erkenntnisse dazu, auf was Organisationen bei eigenen Umfragen achten sollten.

Ergebnisse

Hier stehen (Zwischen-)ergebnisse aus dem Projekt bereit, die Ihr im Sinne der gemeinwohlorientierten Datennutzung weiterverwenden könnt. Angaben zu den Lizenzangaben finden sich in den Materialien.

Technologien

Quarto
Selbst gehostete Sprachmodelle für Natural Language Processing (NLP)-Aufgaben wie Topic Analysis mit und Normalisierung von offenen Textfelder
Python für NLP
- BERTopic
- dspy
R für die hauptsächliche Datenverarbeitung
- Tidyverse
- ggplot

Erkenntnisse

Umfragedesign

Neben den Erkenntnissen aus der Auswertung der Umfrage, die in den jeweiligen Blogartikeln nachgelesen werden können, ergaben sich aus der Umfrage von digital-verein(t) folgende Learnings für das Umfragedesign. Wir empfehlen zivilgesellschaftlichen Organisationen, diese vor dem Herausgeben einer Umfrage zu beachten:

Klare Forschungsfragen definieren: Vor der Umfrage sollten präzise Forschungsfragen formuliert werden. Diese müssen nicht direkt den Umfragefragen entsprechen, sondern können durch die Kombination verschiedener Antworten beantwortet werden.
Einsatz von durchdachten Filterfragen: Zentrale Fragen sollten verpflichtend sein, und Filter müssen sicherstellen, dass Teilnehmende nur relevante Fragen sehen. Dies verbessert die Datenqualität.
Kontextgerechte Gestaltung: Die Umfrage muss auf die Zielgruppe und den Kontext zugeschnitten sein. Bei der Verknüpfung mit Events (z.B. einem Workshops) sollten verschiedene Versionen für unterschiedliche Teilnehmergruppen erwogen werden.
Reihenfolgeeffekte beachten: Die Anordnung der Fragen kann die Antworten beeinflussen. Offene Fragen sollten daher zum Beispiel vor ähnlichen Fragen mit vorgegebenen Optionen gestellt werden, um authentische und unverfälschte Antworten zu erhalten.
Antwortmöglichkeiten standardisieren: Wird nach Bewertungen oder Einschätzungen gefragt, ergibt es Sinn, einheitlich wissenschaftlich bewährte Methoden, wie z.B. die Likert-Skala zu verwenden, anstatt kreativ zu werden und das Rad neu zu erfinden.
Kontextinformationen erheben: Zusätzliche Angaben wie z.B. Kompetenzniveau oder organisatorische oder demografische Details ermöglichen eine differenziertere Analyse und Interpretation der Ergebnisse.

Auswertung von Umfragen

Umfragetools wie Limesurvey oder Lamapoll erlauben oft nur eine univariate Betrachtung der Ergebnisse.
Oft ist es spannend und erkenntnisreich, sich Beziehungen zwischen Variablen anzuschauen. Dafür sind alternative Auswertungsarten erforderlich.

NLP mit kleinen selbst-gehosteten Sprachmodellen

Kleine Modelle (14B) lassen sich für einfache Aufgaben zuverlässig einsetzen.
Nutzung von dspy erleichtert prompt engineering deutlich und macht Arbeit mit LLMs vorhersagbarer.
Topic Modelling fühlt sich oft willkürlich an.