Wie erreicht unser Wissen die Menschen, wenn KI dazwischen steht?

Wie muss eine Website gestaltet sein, damit Menschen nicht nur Informationen über Beratung finden, sondern tatsächlich Beratung und Unterstützung erhalten? Dieser Frage widmete sich der erste Track mit Annika Rupp, vom Infoverbund Asyl und Migration, die das Webangebot www.migrationsberatung.org für die Migrationsberatung für erwachsene Zugewanderte (MBE) weiterentwickelt. Annika berichtete, dass der Infoverbund seinen Informations- und Wissensbereich auf der Website umfassend überarbeiten will. Ziel ist dabei, Ratsuchenden künftig noch stärker als bisher einen direkten Zugang zu relevanten Informationen zu ermöglichen. Themen wie Arbeit, Beruf, Sprachkurse, Gesundheit, Familie etc. sollen neu strukturiert und inhaltlich aktualisiert werden.

Dabei steht das Team vor einer Herausforderung, die viele gemeinnützige Organisationen kennen: Die Themen sind komplex, die Bedürfnisse der Zielgruppen unterschiedlich und die redaktionellen Ressourcen begrenzt. Deshalb ging es um konkrete Fragen:

• Wie kann man die FAQs besser gestalten, damit die KI Suchmaschine uns findet?
• Wie können wir sicherstellen, dass die Inhalte auf der Website über die Qualität der Antworten der bekannten KI-Anwendungen hinausgehen?

Nicht die Organisation, sondern die Fragen der Ratsuchenden zählen

In der Diskussion wurde schnell deutlich, dass eine gute Wissensseite nicht bei der eigenen Organisationsstruktur beginnen kann, sondern bei den Fragen der Menschen. Wer beispielsweise nach dem Begriff „Elterngeld“ sucht, möchte zunächst wissen, ob ein Anspruch besteht, welche Voraussetzungen gelten und wie ein Antrag gestellt werden kann. Eine lange Darstellung aller Beratungsangebote hilft in diesem Moment wenig.

Die Empfehlung lautete deshalb: Informationen entlang konkreter Bedürfnisse strukturieren und die wichtigsten Antworten möglichst früh, zu Beginn der Seite geben.

Als hilfreiches Vorbild könnten die Informationsseiten der Verbraucherzentralen dienen. Eine Vertreterin beschrieb im Workshop, dass auf den Websites der Verbraucherzentralen häufig die wichtigsten Aussagen zu Beginn einer Seite, unter „Das Wichtigste in Kürze“, zusammengefasst und anschließend ausführlicher erläutert werden.

Pro und Contra klassischer FAQ-Seiten

Die Diskussion ergab, dass statt viele einzelne, verschiedene Fragen und Antworten in FAQ-Übersichten aneinanderzureihen, ein gut strukturierter Themenartikel sinnvoller sein kann. Er sollte verschiedene Teilfragen verständlich nach Priorisierung in der Reihenfolge beantworten. Zwischenüberschriften und Sprungmarken erleichtern dabei unbedingt die Orientierung. Und bieten eine gute Grundlage für die KI zur Erkennung der Prioritäten einer Seite.

Was kann eine Organisation, die Beratung anbietet, besser als KI?

Gemeinnützige Wissensangebote bieten einen Mehrwert gegenüber allgemeinen KI-Antworten. Der Mehrwert liegt vor allem im eigenen Erfahrungswissen. Formulierungen wie

• „Unsere Berater*innen wissen aus der Praxis …“
• „Wir machen in unserer Beratung häufig die Erfahrung …“
• „Wir kennen Beispiele wie …“

bringen Informationen ein, die allgemeine KI-Systeme nicht bereitstellen können. Deshalb sind fachlich eingeordnete Erfahrungen aus der unmittelbaren Arbeit mit Menschen besonders wichtig.

Verständliche Sprache ist essenziell

Die Bedeutung verständlicher und leichter Sprache wurde im Workshop „Gemeinsam Machen“ ebenfalls angesprochen. Gerade bei komplexen rechtlichen und sozialen Fragen müssen Informationen für möglichst viele Menschen zugänglich sein. Einfache Sprache kann dabei helfen, sowohl den Ratsuchenden als auch für das Auffinden durch die KI.

Zentrale Erkenntnis aus Track 1: Wie optimiere ich meine Website für KI?

Gute Sichtbarkeit beginnt nicht bei der Optimierung für Maschinen, sondern bei einer Website, die Menschen wirklich weiterhilft. Wer die richtigen Fragen verständlich, fundiert und mit eingebundenem Kontext beantwortet, schafft zugleich eine bessere Grundlage für die Auffindbarkeit durch KI.

Im zweiten Track des Workshops „Gemeinsam Machen“ ging es um eine weitere Strategie: Statt ausschließlich darauf zu hoffen, dass große KI-Systeme die richtigen Informationen schon finden werden, können Organisationen eigene KI-gestützte Beratungsangebote entwickeln – und das für das RAGRAGRetrieval-Augmented Generation (RAG) ist eine Erweiterung von Large Language Models (LLMs). Das Prinzip von RAG ist, dass zusätzliche Informationen aus einer Wissensdatenbank in die Text-Anfrage (en: Prompt) an eine generative KI einbezogen werden. Dadurch entsteht eine Lösung, die deutlich flexibler und aktueller ist als ein reines Sprachmodell. Die beiden Phasen des RAG Systems sind: “Retrieval” (de: Abruf): Ein Modell oder Algorithmus durchsucht externe Quellen (z. B. Datenbanken, Websites, Textsammlungen), um relevante Informationen zu einer Anfrage zu finden. “Augmented Generation” (de: erweiterte Erzeugung): Ein Generatives KI Modell nutzt sowohl erlerntes Wissen als auch die abgerufenen Informationen, um eine passende Antwort oder einen Text zu verfassen.-System aufgearbeitete Wissen zugleich offen zur Verfügung stellen. Als Praxisbeispiel dient der Caritas-Chatbot zum Thema Grundsicherung. Gemeinsam mit Alexandra Wörner und Alina Dallmann von den scieneers und Angela Berger aus dem Civic Data Lab diskutierte die Gruppe,

• wie ein solcher ChatbotChatbotEin Chatbot ist eine Software, die textbasierte oder gesprochene Kommunikation über ein Eingabe- und Ausgabefeld ermöglicht.. Es handelt sich um ein Teilgebiet der Künstlichen Intelligenz, in dem Methoden entwickelt werden, um automatisierte Dialogsysteme zu erstellen. Im öffentlichen Diskurs steht der Begriff meist für Anwendungen in Kommunikationskanälen wie Webseiten und sozialen Medien, um Kundensupport zu bieten und Anfragen zu beantworten. Ein Beispiel ist die Möglichkeit der Stornierung von Online-Bestellungen über einen Chatbot. funktioniert,
• welche Rolle kuratiertes Wissen spielt und

wie Organisationen bei der Entwicklung zusammenarbeiten könnten.

Warum sollte man sich für einen eigenen Chatbot entscheiden?

Große Sprachmodelle (LLMs) können überzeugend formulieren – zu oft jedoch stellen sie so auch sachlich falsche Antworten als richtig dar. Befragungen zeigen, dass nur rund die Hälfte der Nutzenden Ergebnisse überprüfen. Gerade bei Fragen zu Sozialleistungen kann das erhebliche Folgen haben. Ein von einer Organisation selbst aufgesetzter, eigener Chatbot bietet die Möglichkeit, Antworten auf eine gezielt zusammengestellte und überprüfte Wissensbasis zu stützen. Der Caritas-Chatbot nutzt dafür ein sogenanntes RAG-System (Retrieval-Augmented Generation). Vereinfacht beschrieben greift die KI dabei auf zuvor durch Menschen ausgewählte Quellen zurück, statt frei im Internet zu recherchieren.

Dass ein solches Angebot gebraucht wird, zeigen die Nutzungszahlen. Seit Mitte 2025 wurden vom Caritas-Chatbot rund 30.000 Fragen beantwortet. Allein innerhalb von drei Monaten, nach der Umstellung auf das Thema „Grundsicherung“, im Juli 2026, gingen etwa 6.000 Anfragen von Ratsuchenden ein.

Wie baut man die Wissensbasis für einen eigenen Chatbot auf?

Zum Wissensaufbau wurden zunächst rund 100 typische Fragen gesammelt und händisch durch eine Redaktionsgruppe aus 25 Berater*innen aus der Praxis beantwortet und als Wissensbasis hinterlegt. Dazu kommen weitere ausgewählte Internet-Quellen, die durch Versionierung und regelmäßiges Web-Scraping aktuell gehalten werden: Rechtliche Grundlagen, aktuelle Berechnungsgrundlagen, Methodenwissen zu Dialog- und Beratungsweisen, Kontextwissen zu Abläufen und Prozessen, Datenbanken usw.

Auf die erste Zusammenstellung der Wissensgrundlagen erfolgen regelmäßige Qualitätsevaluationen. So wurden die ersten 1.000 Fragen und Antworten von Hand auf ihre Richtigkeit geprüft. Aber auch anschließend bleibt die Qualitätskontrolle selbstverständlich eine Daueraufgabe. Rückmeldungen der Nutzenden, fachliche Prüfungen und KI-gestützte Auswertungen helfen kontinuierlich dabei, Fehler zu erkennen und die Antworten dauerhaft zu verbessern. Werden fehlerhafte oder unpassende Darstellungen festgestellt, kann die Qualität zukünftiger Antworten über die Anpassung der Wissensgrundlage und der Systemprompts verbessert werden. Hierfür werden mit den neuen Grundlagen regelmäßig zusätzliche Testläufe durchgeführt.

Ein Chatbot ist nur so gut wie seine Wissensbasis

Nicht die Wahl des KI-Modells entscheidet über die Qualität eines Chatbots, sondern vor allem die Qualität der bereitgestellten Informationen. Neben fachlich geprüften Quellen braucht es klare Regeln, wie, in welchem Tenor Antworten formuliert werden sollen, welche Quellen herangezogen werden und wann eine Frage nicht zuverlässig beantwortet werden kann. Auch zusätzliche Werkzeuge können sinnvoll sein, beispielsweise wie im Fall des Caritas-Chatbots ein „Rechner für Sozialleistungen“. Besonders wichtig ist die Einbindung von Praxiswissen: Beratende kennen nicht nur die gesetzlichen Grundlagen, sondern auch typische Missverständnisse, Schwierigkeiten mit Behörden und wiederkehrende Fragen. Dieses Wissen kann systematisch in die Entwicklung einfließen. Außerdem muss die laufende Evaluierung der Qualität von Anfang an in die Entwicklung mit eingeplant und eingepreist werden. So wird der Betrieb eines eigenen Chatbots auf Dauer allerdings weiterhin eine Kostenfrage bleiben, die am besten in Kooperation tragbar ist.

Erst Kooperation über Organisationsgrenzen hinaus ermöglicht die Bereitstellung von qualitativ hochwertigen Chatbots zu einer Bandbreite von Themen

Die Entwicklung und dauerhafte Pflege eines eigenen Chatbots erfordern erhebliche personelle und finanzielle Ressourcen. Innerhalb der Caritas wirken Fachberater*innen und Finanzierungsbeiträge unterschiedlicher Mitgliedsorganisationen zusammen. Im Track wurde deshalb intensiv darüber diskutiert, wie Organisationen ihr Wissen gemeinsam nutzen könnten.

Denkbar wäre beispielsweise, häufig gestellte Fragen aus Beratungsangeboten (online, automatisiert und offline) anonymisiert auszuwerten und offen zur Verfügung zu stellen. So ließe sich erkennen, welche Themen Menschen besonders beschäftigen und wo zusätzlicher Informationsbedarf entsteht. Zudem ergäbe sich ein guter Hinweis, welche Fragen auch offen auf den Websites adressiert werden sollten.

Ressourcen, auf die sich viele Angebote beziehen, wie aktuelle Gesetze und Regelungen, könnten gemeinsam genutzt werden, da sie keiner Spezialisierung nach Organisationen bedürfen. Hierzu wäre ein gemeinsam genutztes Wissensmanagement zielführend. Außerdem enthalten die Webangebote der Verbraucherzentralen und der Wohlfahrtsverbände auf Bundesebene sowie von kommunalen Portalen wie dem Willkommenszentrum Berlin bereits umfangreiche Wissensbestände sowie statistische Daten, die für eine Weiternutzung bereitstehen.

Im Details müssten jedoch noch praktische Hürden geklärt werden: unterschiedliche technische Infrastrukturen, geschlossene Cloud-Systeme, organisatorische Zuständigkeiten und Datenschutzanforderungen. Hierfür bietet beispielsweise der Föderierte Datenpool aus dem Civic Data Lab eine gute Möglichkeit, um verschieden strukturierte Verzeichnisse zusammenzuführen.

Zentrale Erkenntnis aus Track 2: Wie stellen wir eigene Chatbots zur Verfügung?

Ein guter Chatbot ist kein einmaliges Technikprojekt, sondern ein dauerhaftes Wissens- und Qualitätsmanagement. Je besser Organisationen dabei zusammenarbeiten, desto eher können sie verlässliche KI-Angebote langfristig bereitstellen.

Was passiert eigentlich, wenn eine KI über unsere Organisation Informationen präsentiert? Werden die Organisationen überhaupt genannt? Und stimmen die Informationen, die dabei ausgegeben werden? Diesen Fragen ging der dritte Track nach. Hier wurde Jonas Stettner aus dem Civic Data Lab besonders praktisch: Die Teilnehmenden untersuchten Werkzeuge zur Messung von KI-Sichtbarkeit und spielten anhand einer Simulation durch, wie falsche Informationen in Chatbot-Antworten gelangen.

Wie sichtbar ist meine Organisation für KI?

Die Gruppe beschäftigte sich mit sogenannten AI-Visibility-Tools: Elmo (3A). Limelit (3B) und Peec AI (3C). Diese sollen sichtbar machen, ob und bei welchen Fragen eine Organisation in KI-generierten Antworten auftaucht und wie sie dort dargestellt wird.

Diese Anwendungen ermöglichen es beispielsweise, bestimmte Suchanfragen regelmäßig zu testen und die eigene Sichtbarkeit zu analysieren. Dennoch beginnt die entscheidende Arbeit bereits vor dem Einsatz des Tools:

• Organisationen müssen vorab klären, bei welchen Fragen sie überhaupt gefunden werden möchten und
• mit welchen Informationen sie in Verbindung gebracht werden sollen.

Jonas erläuterte dies anhand eines Beratungsangebots zur Schuldnerberatung, das schließlich nicht bei beliebigen Suchanfragen erscheinen soll, sondern an den Stellen, wo Menschen konkrete Hilfe zu Schulden, Pfändungen oder finanziellen Notlagen suchen und benötigen.

Dabei diskutierte die Gruppe auch die Grenzen der Werkzeuge. Viele sind kostenpflichtig, die Preise können bei umfangreicher Nutzung schnell steigen. Zudem unterliegen die Angebote einem dynamischen Markt und verfolgen selbst kommerzielle Interessen. Für kleinere Organisationen könnte daher eine punktuelle Bestandsaufnahme sinnvoller sein als eine dauerhafte Überwachung der eigenen KI-Sichtbarkeit.

Ein kleines Experiment: Welche Informationen gibt die KI zur Schuldnerberatung aus?

Im zweiten Teil des Track 3 wurde es spielerisch. Anhand verschiedener Websites zur Schuldnerberatung simulierten die Teilnehmenden, wie ein Chatbot Informationen aus dem Internet zusammenträgt. Das Ergebnis dabei war: In der ausgegebenen Antwort erschien eine veraltete E-Mail-Adresse. Nun konnten die Teilnehmenden herausfinden, woher diese Information stammt und wie das Problem zu lösen ist. Daran lies sich ausprobieren, wie sich Änderungen an den zugrunde liegenden Websites auf die KI-Antwort unmittelbar sichtbar auswirken.

Das Experiment machte ein bekanntes Problem unter neuen technischen Bedingungen sichtbar. Informationen über eine Organisation stehen nicht nur auf ihrer eigenen Website. Sie werden auch auf anderen Seiten veröffentlicht, übernommen oder weiterverbreitet. Ist dort eine Angabe veraltet, kann eine KI sie erneut aufgreifen und als vermeintlich aktuelle Information ausgeben. Neu ist dabei vor allem, dass Nutzer*innen häufig gar nicht sehen, welche Websites die KI für ihre Antwort berücksichtigt hat. Für Organisationen wird es dadurch schwieriger, Fehlerquellen zu identifizieren. Im Zweifel müssen sie recherchieren, auf welchen externen Seiten die falschen Angaben stehen, und deren Betreiber*innen um eine Korrektur bitten.

Gemeinwohlorientierte Organisationen im Spannungsfeld zwischen Komfort und Kontrollverlust

Wie vertrauenswürdig können KI-generierte Zusammenfassungen eigentlich sein? Einerseits sind sie für Anfragende und Ratsuchende ausgesprochen praktisch. Denn, wer schnell eine allgemeine Information benötigt, erhält häufig eine unmittelbar nutzbare Antwort. Andererseits fallen gerade Menschen mit eigener Fachexpertise immer wieder Ungenauigkeiten, falsche Verknüpfungen oder fehlender Kontext auf.

Hinzu kommt, dass KI-generierte Antworten manipulierbar sein können. Im Austausch im Workshop wurde deshalb auf Forschung verwiesen, die untersucht, wie sogenannte Deep-Research-Agenten durch nutzergenerierte Inhalte beeinflusst werden können. Inspiration bot die Studie von Tingwei Zhang und Harold Triedman, mit denen das Civic Data Lab Team sich vor dem Track austauschte und auf die es durch einen Beitrag von 404 Media gestoßen war.

Für gemeinwohlorientierte Organisationen entsteht damit ein Spannungsfeld. Sie müssen sich mit KI-Systemen auseinandersetzen, um digital sichtbar zu bleiben, obwohl sie deren Funktionsweise und Ergebnisse nur begrenzt kontrollieren können.

Zentrale Erkenntnis aus Track 3: Wie kann ich den Überblick über meine KI-Sichtbarkeit behalten?

KI-Sichtbarkeit lässt sich nicht niedrigschwellig mit einem Tool herstellen. Organisationen brauchen eine klare Vorstellung davon, wie sie wahrgenommen werden möchten. Sie müssen ihre digitalen Informationen aktuell halten und sollten KI-Antworten kontinuierlich kritisch beobachten.