Für mehr Mitgestaltung an Schulen – Zugang zu Wissen für Schüler*innenvertretungen erleichtern

Erkenntnisse

Erkenntnisse zur Erstellung einer Wissensbasis für RAG

• Gesetzestexte – die rechtliche Grundlage unseres Zusammenlebens – sind nicht im eigentlichen Sinne als Open Data für die Allgemeinheit zugänglich: Da Bildung Kompetenz der Bundesländer ist, wurden Gesetzestexte aller Bundesländer als Teil der Datengrundlage, auf die der Chatbot zurückgreift, genutzt. Es zeigte sich allerdings, dass die Gesetzestexte nicht einheitlich maschinenlesbar verfügbar sind. Viele Länder betreiben Portale des ursprünglich staatlich getragenen Dienstleisters Juris. (Hier gibt es eine Übersicht über die Portale.) Da die Portale von Juris über keine kostenlose API (Bei „API“ verstehst du nur Bahnhof? – Dann schau in unserem Selbstlernmaterial vorbei!) verfügen, musste auf umständliche Methoden wie das Web Scraping (Du möchtest mehr über „Web Scraping“ erfahren? Dann schau dir unseren Blogpost mit Verlinkung zur Aufzeichnung des Espresso-Talks an.) zurückgegriffen werden.
• Einen gemeinsamen Modus der Zusammenarbeit zu finden ist essentiell, um den Überblick zu behalten: Dabei können verschiedene Programme unterstützen, wie z.B. das Literaturverwaltungsprogramm Zotero. Dieses eignet sich sehr gut für die Zusammenarbeit zwischen Programmierer*innen und Domain-Expert*innen, die einen Überblick über vorhandene Literatur haben. Z.B. ermöglicht das Programm, Metadaten zu den hinterlegten Materialien (wie z.B. URLs zu Volltexten) über eine API programmatisch abzurufen. Zusätzlich erlaubt Zotero die Kodierung zusätzlicher Informationen, z.B. für welche Bundesländer eine Publikation gilt, mittels sogenannter Tags. Im Rahmen des Datenvorhabens wurde Zotero für die Systematisierung der Datengrundlage genutzt.

Erkenntnisse zur Entwicklung des Chatbots

• Die Datenbasis impliziert die späteren Möglichkeiten des Chatbots – dies sollte bedacht werden: Um die Antworten zu erstellen, die ein Chatbot zur Beantwortung einer Anfrage wiedergibt, gibt es verschiedene Herangehensweisen. Die simpelste Art einer Chatbot-Interaktion ergibt sich aus einer Liste vordefinierter Antworten  – wie bei einem FAQ. Dabei dient das Chatbot-Interface lediglich dem konversationellen Charakter der Informationsabfrage. Komplexer wird es schon, wenn dem Chatbot ein LLM vorgeschaltet wird, das auf einer Sammlung von Texten trainiert wurde. Ein Nachteil dieses Vorgehens ist das gelegentliche „Halluzinieren“, d.h. das Erfinden von Antworten, die in der Art nicht im Trainingsdatensatz vorkommen, sondern lediglich erlernten Mustern folgen. Um diesem Problem entgegenzuwirken, kann das LLM um die wissensgestützte Textgenerierung (RAG) erweitert werden. In diesem Fall wird die Antwort aus einer Sammlung vordefinierter Quellen generiert. Einen Schritt weiter gehen die sogenannten „agentischen KI-Systeme“. Dabei werden nicht alle Quellen gleichwertig behandelt, sondern es besteht die Möglichkeit, bestimmte Quellen zum „Lösen“ bestimmter Aufgaben zu verwenden. Im Rahmen des Datenvorhabens, bedeutet ein solches Vorgehen bspw., dass für die Erklärung bestimmter zentraler Begriffe keine Antwort generiert wird, sondern auf einen geprüften Glossareintrag zurückgegriffen wird. Um solche speziellen Funktionalitäten implementieren zu können, müssen diese allerdings bereits bei der Zusammenstellung der Datengrundlage berücksichtigt werden.
• User*innen-Tests lohnen sich, um Anwendungen gezielt an den Bedarfen der Nutzenden auszurichten: Bei der Entwicklung von Anwendungen tappt man schnell in die Falle, Vorannahmen zum Verhalten von Nutzer*innen zu treffen, ohne diese im Prozess zu überprüfen. Deshalb sollte man sich immer wieder vor Augen führen, keine stellvertretenden Aussagen zu treffen, sondern User*innen-Tests systematisch in die Entwicklung von Anwendungen zu integrieren und diese möglichst frühzeitig umzusetzen. Im Rahmen des Datenvorhabens wurden Tests mit Schüler*innen, der zentralen Zielgruppe, durchgeführt. Die dabei gewonnenen Anregungen lieferten wertvollen Input zur Verbesserung des Chatbots.
• Ein gemeinsames Verständnis von Arbeitsbegriffen kann Missverständnisse und den daraus resultierenden Mehraufwand vermeiden: Es mag banal klingen, aber insb., wenn es um omnipräsente Begrifflichkeiten wie „Chatbot“, „LLM“ und Co. geht, die fälschlicherweise gerne synonym verwendet werden, sollte zu Beginn des Prozesses ein gemeinsames Verständnis geschaffen werden. Das umfasst neben der Frage „Worüber sprechen wir, wenn wir XY sagen?“ auch die Klärung der Funktionsweise, die sich hinter technischen Begriffen verbirgt. Im Rahmen des Datenvorhabens stellte sich als wichtig heraus, zu klären, welche Datenquellen ein LLM wie verarbeiten kann. Denn im Gegensatz zu einem Menschen, der keinen großen Unterschied zwischen Informationen in Fließtext oder in Grafiken macht, ist es für ein LLM ein essentieller Unterschied.

Beteiligte

Aus dem Projektverlauf: