In diesem Zusammenhang betreibt der Verein Schule ein Gesicht geben e.V. die Webseite meinsvwissen.de, auf der Schüler*innen Ressourcen für die Gründung und Abläufe von Schüler*innen-Vertretungen finden können. Diese gut kuratierte Ressourcensammlung hat das Team von Schule ein Gesicht geben e.V. gemeinsam mit zahlreichen Schülervertreter*innen sowie andere Bildungsorganisationen zusammengetragen und pflegt diese aktiv weiter. Trotz der umfangreichen Sammlung merken sie immer wieder, dass das Wissen für die Schüler*innen dennoch nicht sehr zugänglich ist. So werden in den Beratungsstunden, die das Team anbietet, häufig ähnliche Fragen beantwortet.
Dass Schüler*innen die passenden Informationen nicht finden können, kann unterschiedliche Gründe haben. Zum einen liegt es daran, dass sie bei der Suche nicht die Fachterminologie der bereitgestellten Materialien, sondern ihre Alltagssprache benutzen. Die aktuell auf der Webseite hinterlegte Suche kann das unterschiedliche Wording dann nicht zusammenbringen und so werden keine Ergebnisse angezeigt. In anderen Fällen entspricht die Struktur, nach der die Materialien aufbereitet sind, nicht den Ideenfindungsprozessen im Alltag. In diesem Fall wird an der falschen Stelle gesucht. Zu guter Letzt – und das ist vermutlich die häufigste Ursache, warum keine passenden Materialien gefunden werden – können Schüler*innen meistens zwar ihre Ausgangslage schildern, wissen aber nicht, welche oder ob es passende Lösungsansätze dafür gibt, d.h. sie wissen nicht genau, nach was sie suchen sollen.
Mit dieser Problemstellung kam das Team von Schule ein Gesicht geben e.V. auf uns zu. Sie haben den Bedarf geäußert, die Suche nach passenden Lösungsansätzen und Aktionen sowie den verfügbaren Ressourcen für Schüler*innen besser zugänglich zu machen. Überspitzt gesagt, braucht es eine Art „Übersetzungsleistung“ zwischen Fach- und Alltagssprache, der Schüler*innen. Neben den Schüler*innen gibt es zwei weitere große Zielgruppen, die angesprochen werden sollen: Lehrkräfte und SV-Begleiter*innen.
Was leistet das Datenvorhaben?
Im Rahmen des Datenvorhabens sollen also die Präsentation und Auffindbarkeit der bestehenden Ressourcen verbessert werden. Dafür wollen wir ein LLM-basiertes Informationszugangssystem entwickeln, das durch semantische Suche die Auffindbarkeit unabhängig von der richtigen Wortwahl macht. Das System soll die Fähigkeit besitzen, Antworten aus verschiedenen Informationsquellen intelligent zu kombinieren und dabei dynamisch den Komplexitätsgrad der Darstellung anzupassen. Dabei soll berücksichtigt werden, dass unterschiedliche Nutzer*innen unterschiedliche Informationsbedürfnisse und Vorverständnisse haben. Zusätzlich streben wir eine Nutzer*innen-zentrierte Anpassung an das individuelle Mediennutzungsverhalten an, um die Relevanz und Zugänglichkeit der bereitgestellten Informationen zu optimieren.
Was ist uns im Rahmen des Datenvorhabens wichtig?
Bei der Wahl einer geeigneten Technologie ist uns vor allem wichtig, dass die Weiternutzung im zivilgesellschaftlichen Kontext gewährleistet wird. Das heißt, dass wir bspw. darauf achten, dass keine allzu hohen laufenden Kosten (z.B. Lizenzkosten) entstehen, um einen langfristigen Betrieb der entwickelten Lösung auch einem hauptsächlich ehrenamtlich getragenen Verein zu ermöglichen. Wenn möglich soll auf die Nutzung von Open Source Software zurückgegriffen werden und die Bereitstellung unter einer Open-Source-Lizenz erfolgen. Über Open Source Software sowie die Vor- und Nachteile berichteten wir kürzlich auf unserem Blog.
Darüber hinaus ist uns ein frühzeitiges Einbinden der Zielgruppen in den Entwicklungsprozess ein zentrales Anliegen. Durch gezielte Testrunden mit den Zielgruppen wollen wir sicherstellen, dass die Entwicklung an die verschiedenen Bedarfe angepasst wird und nicht daran vorbeizielt.
Was muss man bei der Einführung eines LLM-basierten Chatbots beachten?
Im Prozess der Suche nach einem passenden Dienstleister, der das Datenvorhaben begleitet, haben wir außerdem die folgenden Anforderungen formuliert, die wir an dieser Stelle teilen möchten, sodass sich auch Andere daran orientieren können.
Aufbau und Funktionsweise:
- Es soll ein modularer, agentic, LLM-basierter Chatbot mit Retrievel-Augmented-Generation (RAG) entstehen, der auf den kuratierten Materialien basiert.
- Der Chatbot fungiert als Informationszugangssystem und ergänzt das Beratungsangebot des Teams von Schule ein Gesicht geben e.V. und soll dieses in keinem Fall ersetzen.
- Sensible und unerwünschte Anfragen (z.B. zu Themen wie Gewalt) sollen zuverlässig erkannt werden. Die Beantwortung dieser Anfragen soll in einem vordefinierten Rahmen liegen und die Weiterleitung zu passenden Beratungsangeboten oder anderen Anschlussstellen enthalten.
- Ein wegzuklickender Disclaimer soll vor der Nutzung darauf hinweisen, was der Chatbot leisten kann und was außerhalb der Möglichkeiten liegt.
- Wenn der Chatbot keine klare Antwort auf eine Anfrage geben kann, soll eine vordefinierte Antwort gegeben werden, die die Möglichkeiten entsprechend einordnet, statt „Halluzinationen“ zu produzieren.
Datenbasis:
- Als Datengrundlage für den Chatbot dienen die auf der Webseite meinsvwissen.de veröffentlichten Materialien (PDFs und öffentlich zugängliche Padlets) sowie Gesetzestexte (PDFs), die Einordnungen zu Schulformen und Bundesland-spezifischen Regulierungen ermöglichen (z.B. bei rechtlichen Fragen).
- Es soll ein halbjähriges Update der Datenbasis stattfinden, sodass die Antworten möglichst aktuell gehalten werden können.
Evaluation:
- Es sollen User*innen-Tests mit der Zielgruppe (insb. mit Schüler*innen und Lehrkräften) stattfinden, um die Entwicklung an ihren konkreten Bedarfen auszurichten.
- Zur Qualitätssicherung soll eine Strategie erarbeitet und dokumentiert werden. Dazu soll mit einschlägigen Metriken für Anforderungen gearbeitet werden.
Wie geht es jetzt weiter?
Zur Begleitung des Datenvorhabens haben wir uns für die Unterstützung durch die aureka UG entschieden. Einige von euch werden das Team von aureka sicherlich bereits von unseren „Gemeinsam Machen“-Events [1] kennen, wo sie Lupai vorgestellt haben. Lupai ist eine Anwendung, die Abhilfe im Bürokratie-Dschungel der Migrationsberatung schaffen soll – sowohl für Beratende als auch für diejenigen, die auf der Suche nach Informationen sind. Dabei ist die Problemstellung eine ähnliche, wie in unserem aktuellen Datenvorhaben mit Schule ein Gesicht geben e.V. Komplexe Sprache und Sachverhalte sollen zugänglicher für die adressierten Zielgruppen gemacht werden, damit Informationen dort ankommen, wo sie gebraucht werden.
[1] Hier geht es zu den Blogartikeln der „Gemeinsam Machen“-Events:
