Civic Data Lab Startseite
Daten sind nie neutral oder objektiv verstehbar, sondern das Produkt komplexer sozialer Prozesse und diverser Entscheidungen. Diese fallen in allen Schritten der Datenverarbeitung über den Datenlebenszyklus an, sei es während der Datensammlung und -bereinigung, der Analyse, im Rahmen von Priorisierung & Visualisierung, sowie im Bereich der Bereitstellung. Die Entscheidungen werden vor dem Hintergrund eines bestimmten Werteverständnisses getroffen.
Die zentralen Fragen lauten: Wer schreibt den Code? Wer entscheidet, welche Daten genutzt werden? Wer interpretiert und kommuniziert die Ergebnisse? Und weiterhin lautet auf viele dieser Fragen die Antwort: Eine Vielzahl der bekannten Produkte wird aktuell maßgeblich von überwiegend männlichen, weißen Personen aus dem globalen Norden mit ähnlichen Bildungs- und Herkunftskontexten entwickelt. So wird die Entstehung von Datensätzen begünstigt, die unvollständig oder fehlerhaft sind. Insbesondere marginalisierte Gruppen werden oft nicht oder nur verzerrt berücksichtigt.
Dies zeigt sich an vielen realen Beispielen. Das Forschungsprojekt Gender Shades vom Massachusetts Institute of Technology verglich 2018 Software von drei kommerziellen Anbietern: Microsoft, IBM und Face++. Das Ergebnis: Die Gesichter von Frauen werden seltener erkannt als die von Männern, die von People of Colour seltener als die von weißen Personen. Besondere Auswirkungen hat dies auf die erhöhte Fehlerquote bei weiblich gelesenen People of Colour, die von Intersektionalität betroffen sind (Quelle: https://www.media.mit.edu/projects/gender-shades/overview/).
Im selben Jahr zeigte eine Studie der Cornell University, dass der Einsatz von Predictive Policing, d.h. algorithmische Vorhersagen im Polizeieinsatz, zu vermehrter Überwachung in Stadtteilen führen, die schon zuvor überwachungsintensiv waren – oft Stadtteile, die von marginalisierten Gruppen bewohnt sind. Die daraus folgende erhöhte Polizeipräsenz führt zu mehr erfassten Straftaten und diese Daten wiederum fließen zurück ins System und verstärken die Voraussage einer höheren Kriminalitätsrate und damit zur weiteren Verstärkung der Überwachung genau dieser Gruppen. Die Voraussage bestätigt sich und ein algorithmischer Teufelskreis entsteht (Quelle: https://arxiv.org/abs/1706.09847).
Auch in Europa gab es schon Anwendungsfälle, die Folgen solcher Verzerrungen in Datengrundlagen sichtbar machten. Bekannt ist vielen das sogenannte Arbeitsmarktchancenmodell (AMS) des Arbeitsmarktservice Österreich. Dieses sollte Menschen eine „Integrationschance“ auf dem Arbeitsmarkt errechnen und die Klassifikation bestimmte dann mit, welche Fördermaßnahmen eine Person erhält. Analysen machten schnell deutlich, dass das System Menschen mit nicht-deutscher Erstsprache, älteren Bewerber*innen oder Frauen mit Betreuungspflichten systematisch als weniger integrierbar einstufte – und damit diskriminierte. (Quelle: https://diglib.tugraz.at/download.php?id=5e29a88e0e34f&location=medra)
Diese Beispiele zeigen auch: „Was gezählt wird, zählt“. Unreflektierte Nutzung von Daten kann daher schnell zur Bestätigung des Status Quo bis hin zur Verstärkung bestehender gesellschaftlicher Dynamiken beitragen. Und dies ist nicht immer Zufall: Solange Datenanwendungen insbesondere kommerziellen und überwachenden Zwecken dienen, ist nicht mit einer Veränderung zu rechnen. Die Mittel für groß angelegte Datenauswertungen und die Bereitstellung von KI-Anwendungen liegen weiterhin insbesondere bei großen Technologie-Firmen, Regierungen und großen Elite-Universitäten, wie Catherin D’Ignazio und Lauren F. Klein in ihrem wichtigen Grundlagenwerk Data Feminism von 2020 aufzeigen.
Daten sind Macht. Deshalb muss das Ziel jeder Person, die mit Daten arbeitet, eine Reflexion des eigenen Standpunktes sein. Es braucht ein kritisches Herangehen an Datensätze und deren Schlussfolgerungen sowie das Priorisieren marginalisierter Gruppen und deren Bedürfnisse. Denn: Daten sind nie neutral. Deshalb dürfen Emotionen dürfen sichtbar sein und Betroffenenperspektiven sollten verstärkt einbezogen werden. Daten können sogar Uneindeutigkeiten sichtbar machen und durch Reflexion struktureller Biases im Kontext vorherrschender Macht- und Herrschaftssysteme multiple, plurale Perspektiven zeigen.
Doch mit Daten arbeiten kann auch bedeuten, diese Macht für das Wohl aller einzusetzen – beispielsweise indem wir mitwirken, Data Gaps zu schließen. Besonders bekannt ist der Gender Data Gap in der Medizin, denn in der Vergangenheit wurden viele Studien und auch Behandlungen schwerpunktmäßig mit männlichen Patienten durchgeführt, was zu einem Mangel an geschlechtsspezifischen Daten führt. Dies hat zur Folge, dass bestehende medizinische Standards, Diagnostik und Therapien oft nicht optimal auf den weiblichen Körper zugeschnitten sind, was zu fehlerhaften Diagnosen und Behandlungen führen kann. Diese Gaps betreffen auch in anderen Fachrichtungen nicht nur Frauen – alle marginalisierten Gruppen sind unterrepräsentiert. Wir können durch spezifische Studien und Datenveröffentlichungen dagegenwirken. Die Bereitstellung von Open Data können auf diese aktivistisch wirken und die Unsichtbarkeit von Gruppen durchbrechen.
Diesen Ansatz verfolgt auch die vom Civic Data Lab in einem Datenvorhaben unterstütze queere Mapping-Plattform A thousand channels, indem sie Tools zur Visualisierung queerer Räume zur Verfügung stellt. Auch Projekte wie eine Karte, die Feminizide, also Morde an Frauen weil sie Frauen sind, verzeichnen, können politisch wirksam werden (weltweit: https://datoscontrafeminicidio.net/en/home/ , DACH: https://feminizidmap.org/de/).
Und denkbar wäre noch so vieles mehr: Was wäre, wenn es z.B. ein feministisches oder queeres ChatGPT gäbe, das auf Archiven marginalisierter Communities aufbaut?
Die Frage ist nicht OB, sondern WIE wir Künstliche Intelligenz gerecht gestalten. KI kann nur gerecht sein, wenn sie die Perspektiven derjenigen einbezieht, die bisher ausgeschlossen wurden. Daher schließt Katharina ihren Impuls beim Datenfestival mit einem Zitat:
“ … in other words, tech is currently designed in a way it helps to maintain the status quo of social inequality and the norms of consumerist, misogynist, racist, ableist, gender binarial and heteropatriarchal society.
what would the future look like if we could hack this trend?”
Catherine D’Ignazio, Lauren F. Klein (2020): Data Feminism, The MIT Press https://direct.mit.edu/books/book/4660/Data-Feminism
Mosene/ Dinar / Koster / Schmidt, Zoff um Wiki, In: MISSY MAGAZIN #03/20 Unser Netz! 14 Seiten über das feministische Internet (Juni/Juli2020) https://missy-magazine.de/blog/2020/05/11/zoff-um-wiki/
AI Lab, HIIG (2020): ZUKUNFTSFAKTOR DIVERSITÄT – Positionspapier zum Roundtable „KI und Frauen*“ https://www.hiig.de/wp-content/uploads/2020/12/Positionspapier-KI-und-Frauen-WEB_V2.pdf
Mosene, Katharina (2021): Gutachten zur Recommendation on the Ethics of Artificial Intelligence, SHS/IGM-AIETHICS/2021/JUN/3 Rev.2., Politikbereich Gender In: Kettemann, Matthias C. (2022): UNESCO-Empfehlung zur Ethik Künstlicher Intelligenz. Bedingungen zur Implementierung in Deutschland https://www.unesco.de/wissen/wissenschaft/ethik-und-philosophie/studie-umsetzung-ki-ethik-empfehlung
Mohamed, Shakir; Png, Marie-Therese und Isaac, William (2020): Decolonial AI: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence. In: Philosophy & Technology, 33(4), S. 659–684. https://doi.org/10.1007/s13347-020-00405-8
Netzforma* e.V. (2020): Publikation: Wenn KI, dann feministisch. Impulse aus Wissenschaft und Aktivismus https://netzforma.org/wp-content/uploads/2021/01/2020_wenn-ki-dann-feministisch_netzforma.pdf
Katharina Mosene (sie|ihr), Politikwissenschaftlerin am Leibniz-Institut für Medienforschung, dem Hans-Bredow-Institut, sowie am Humboldt-Institut für Internet und Gesellschaft. Auf dem Datenfestival ehrenamtlich als Teil von Netzforma*, dem Verein für feministische Netzpolitik, gegründet im Januar 2018 aus einer AG, die im Rahmen von zwei netzpolitischen Veranstaltungen entstand.
Zusammengefasst von Angela Berger.