Das Problem: Wenn die Datenbank nicht mehr mit der Realität mithält
Der AWO Bundesverband pflegt eine zentrale Datenbank mit rund 10.000 Einrichtungen – Beratungsstellen, Pflegeeinrichtungen, Kitas und vieles mehr. Klingt nach einer soliden Grundlage. Die Realität sieht anders aus: Bei vielen Datensätzen ist unklar, ob die Informationen noch aktuell sind oder überarbeitet werden müssten. wurden. Oft fehlen aktuelle Telefonnummern, Websites sind veraltet, Kategorisierungen stimmen nicht mehr.
Was zunächst nach einem internen Datenpflegeproblem klingt, bedeutet euch, dass das gesellschaftliche Potenzial nicht voll ausgeschöpft werden kann: Die Datenbank eignet sich nur bedingt für Ratsuchende, um passenden Beratungsstellen zu finden, weil manche der hinterlegten Informationen nicht aktuell sind. Und auch die AWO selbst kann ihr Potenzial in der Verbandssteuerung und in der politischen Kommunikation nicht voll ausschöpfen. Datenqualität, so die klare Botschaft des Talks, ist hier keine rein technische Frage – sie ist eine gesellschaftliche.
Was Webscraping eigentlich ist – und auch was nicht
An dieser Stelle setzte der eigentliche Methodenteil des Talks an: Was ist Webscraping überhaupt? Ganz nüchtern beschrieben: Eine automatisierte Programmierung sendet Anfragen an eine Website, erhält die zugrundeliegenden Rohdaten (HTML – Hypertext Markup Language) der Website zurück und extrahiert daraus gezielt die gewünschten Informationen – wie Adressen oder Kontaktdaten. Oder, wie es im Talk plakativ auf den Punkt gebracht wurde: „Webscraping ist wie ein automatisches Abschreiben von Webseiten – nur schneller und in strukturierter Form.“
Wichtig war Julia dabei eine saubere Abgrenzung zum Webcrawling: Ähnlich wie eine Bibliothekar*in Bücher sichtet und einen Katalog erstellt, ohne deren Inhalte zu speichern, durchforstet ein Crawler das Internet und findet die relevanten Seiten und Links – zum Beispiel alle Webseiten der Unterorganisationen eines Verbandes. Scraping geht dann gezielter vor: Wie das Herausschreiben bestimmter Informationen aus einem Buch, filtert es aus den gefundenen Seiten genau die gewünschten Daten heraus – Zielseite abrufen, HTML-Struktur analysieren, Elemente gezielt auswählen, Daten extrahieren, bereinigen und schließlich speichern.
Ebenso ehrlich ging der Talk mit den Grenzen der Methode um: Websites drosseln automatisierte Anfragen (Rate Limiting), erkennen und sperren automatisierte Zugriffe und setzen andere Anti-Scraping-Maßnahmen ein – das erschwert das Ganze ganz praktisch. Und auch rechtlich-ethisch ist Webscraping kein Freifahrtschein – Urheberrecht, Datenschutz, Nutzungsbedingungen und Rechtevorbehalte in maschinenlesbarer Form (Stichwort robots.txt) setzen klare Grenzen, die bei jedem Projekt mitgedacht werden müssen.
Ein Team, mehrere Kontinente, ein klarer Workflow
Realisiert wurde das Projekt von einem interdisziplinären Team aus 15 Ehrenamtlichen aus der DSSG-Community – remote, asynchron organisiert und mit einem gemeinsamen Meeting alle zwei Wochen als festem Ankerpunkt.
Der Workflow gliederte sich dabei in vier aufeinander aufbauende Schritte:
- Zunächst wurden in Phase 1: Scraping & Data Sourcing die AWO-Websites gecrawlt & gescrapt, sowie Google Maps und OpenStreetMap als zusätzliche Quellen angezapft.
- Anschließend kam bei der Phase 2: Normalization mittels Sprachverarbeitung (NLP – Natural Language Processing) und Sprachmodellen die aus den Rohdaten gewonnenen Informationen – etwa Adressen, Kategorien oder Öffnungszeiten – bereinigt und in ein einheitliches, vergleichbares Format überführt.
- In der Phase 3: Deduplication wurden eindeutige Duplikate automatisch zusammengeführt, in unklaren Fällen griff ein Human-in-the-Loop-Prinzip.
- Den Abschluss bildete die Phase 4 Data Analysis: Hier fand eine Datenexploration statt, um Datenqualitätsprobleme aufzudecken. Neben weiteren Analysen entwickelten die Freiwillige eine interaktive Karte, mit der räumliche Versorgungslücken erkannt und die Verteilung von Dienstleistungen nach Kategorie und Region analysiert werden können.
Innerhalb des Teams entstanden zwei unterschiedliche technische Herangehensweisen, die nach dem Talk näher erläutert wurden: Ein Subteam experimentierte mit einem agentischen Ansatz, bei dem KI-Agenten den Scraping-Prozess eigenständig steuerten. Das Hauptteam setzte dagegen auf eine deterministische Code-Lösung in Python, ergänzt um ein Sprachmodell zur Standardisierung der extrahierten Daten. Beide Wege brachten wertvolle Erkenntnisse – und zeigen, dass es beim Einsatz von KI im Scraping-Kontext durchaus unterschiedliche, gleichermaßen valide Ergebnisse gibt.
Was dabei herausgekommen ist
Und die Zahlen können sich sehen lassen: Aus 35.160 Rohdatensätzen aus drei Quellen entstand eine bereinigte Datenbank – filterbar nach Kategorie und Standort. Nach der Deduplizierung blieben 20.947 eindeutige Datensätze zu Einrichtungen, Angeboten und Standorten übrig. Besonders bemerkenswert: Das sind deutlich mehr, als die AWO auf der Basis ihrer eigenen Datenbank erwartet hätte. Ein deutliches Indiz dafür, wie viele blinde Flecken selbst eine über Jahre gepflegte zentrale Datenbank haben kann. Im Schnitt konnten zudem 4,6 Attribute pro Einrichtung angereichert werden, bei 11.990 Einrichtungen sogar fünf oder mehr zusätzliche Attribute.
Ausblick: Zusammenspiel statt Entweder-oder
Ein zentrales Ergebnis des Projekts betrifft nicht nur die Technik, sondern auch die Prozesse dahinter: Wie kann Datenpflege künftig kontinuierlich funktionieren? Die Idee: Wenn sich etwa eine Adresse ändert, soll die betroffene Einrichtung künftig aktiv informiert und um Aktualisierung gebeten werden – Webscraping also nicht als einmalige Daten-Rettungsaktion, sondern als Anstoß für einen laufenden Dialog zwischen automatisierter Erkennung und manueller Pflege durch die Kolleg*innen vor Ort.
Die größte offene Herausforderung liegt dabei genau an dieser Schnittstelle: Wie geht man mit Diskrepanzen zwischen gescrapten Daten und der traditionell gepflegten Datenbank um? Welche Quelle gilt im Zweifel – und wie lässt sich das Beste aus beiden Welten zusammenführen? Diese Frage der Data Governance wird die nächste Projektphase bestimmen.
Wer selbst reinschauen möchte: Der Code des Projekts liegt offen auf GitHub und kann eingesehen und weiterverwendet werden. Ein tolles Beispiel dafür, wie ehrenamtliches Engagement, saubere Methodik und ein sehr konkretes gesellschaftliches Problem zusammenfinden können – und ein guter Einstieg für alle, die zeigen wollen, dass man auch ohne perfekte Ausgangsdaten echten (gesellschaftlichen) Mehrwert für die eigene Organisation schaffen kann.
