Wie menschzentrierte KI in gemeinwohlorientierten Organisationen gelingen kann

Um das zu beantworten, haben wir mit Praktiker*innen aus den Organisationen gesprochen, Workshops gegeben und versucht, konkrete Herausforderungen zu identifizieren. Dieser Blogpost soll einen Einblick in unsere Perspektiven, Erfahrungen und die wichtigsten Learnings, die Sie in Ihren eigenen Projekten unterstützen können, geben.

Was heißt „menschzentrierte KI“ eigentlich?

Wenn Menschen an User Experience denken, geht es oft zunächst um ganz klassische Themen wie die Bedienbarkeit eines Systems, die Nutzerfreundlichkeit einer Oberfläche oder die Attraktivität von Schrift-, Farb- oder Grafikgestaltung. Was bedeutet das konkret? Guckt man in die einschlägige Literatur, dann geht vor allem um Gebrauchstauglichkeit und das Nutzungserlebnis von Systemen.

Gebrauchstauglichkeit und Nutzungserlebnis

• Gebrauchstauglichkeit (“Usability”) beschreibt dabei die Qualität der Interaktion zwischen Menschen und Systemen. Also: Wie einfach, klar und hilfreich fühlt sich die Bedienung an?
• Benutzungserlebnis (“User Experience”) geht darüber hinaus und umfasst alle Eindrücke, Gefühle und Erlebnisse vor, während und nach der Nutzung eines Systems.

Gerade bei KI-Systemen reichen diese beiden Perspektiven allein aber nicht aus. Hier müssen wir noch tiefer gehen.

Vertrauen und Transparenz als zentrale Bausteine

Psychologische Faktoren und die Wahrnehmung durch den Menschen entscheiden oft über Erfolg oder Misserfolg beim Einsatz von KI-Systemen und bilden so die Grundlage für klassische UX Merkmale:

• Vertrauenswürdigkeit
  

  Menschen akzeptieren ein System nicht automatisch, nur weil es gut funktioniert. Entscheidend ist, ob sie das System als verlässlich wahrnehmen – ob sie verstehen, wie sicher Entscheidungen sind, und ob sie das Gefühl haben, sich auf das System verlassen zu können.

• Transparenz
  

  Menschen wollen nachvollziehen können, wie ein System zu seinem Ergebnis kommt. Das gilt auf mehreren Ebenen: technisch, funktional, erklärend und organisatorisch. Fragen wie „Welche Daten wurden verwendet?“ oder „Warum schlägt die KI diese Entscheidung vor?“ sind nicht nur nice-to-have, sondern grundlegend für das Vertrauen in die zur Verfügung gestellten Tools.

Letztlich geht es um eine übergeordnete Frage: Wie muss ein System gestaltet sein, damit Mensch und KI Informationen sinnvoll teilen und befähigt werden gemeinsam Probleme lösen können? Also nicht “wie kann die KI mir Arbeit erleichtern?”, sondern “wie müssen Mensch und System zusammenarbeiten, um die Arbeit für den Menschen zu erleichtern?”.

Was wir in der Praxis beobachtet haben

Beim Austausch mit Mitarbeitenden aus der Zivilgesellschaft ist uns schnell klar geworden, dass viele Herausforderungen gar nicht erst beim Design von KI-Systemen beginnen. Häufig liegen die eigentlichen Probleme eine Stufe davor – bei grundlegenden Fragen zur Automatisierung, zu Rollen, Erwartungen oder Datenschutz.

Ein paar Beispiele aus der Praxis machen das deutlich:

Beispiel 1: Chatbots als Erstkontakt

Viele Organisationen überlegen, ob sie Systeme wie Chatbots für den automatisierten Erstkontakt einsetzen sollen. Ein Chatbot wirkt zunächst attraktiv: Er entlastet Mitarbeitende, bietet schnelle Antworten und lässt sich relativ leicht in bestehende Strukturen integrieren.

In sensiblen Bereichen – etwa bei einer Beratungsstelle – kann der Einsatz aber auch negative Konsequenzen haben: Menschen fühlen sich von automatisierten Antworten nicht ernst genommen. Mitarbeitende haben das Gefühl, den direkten Draht zu Betroffenen zu verlieren. Und die Qualität der Antworten reicht oft nicht an menschliche Expertise heran oder liefert veraltetes Wissen basierend auf unzureichenden Daten.

Beispiel 2: LLM-Zugänge für verteilte Standorte

In anderen Organisationen ist die Bereitschaft groß, KI auszuprobieren – und dennoch tauchen Hürden auf. Ein häufiges Thema: Privacy und Scham bei der Nutzung. Mitarbeitende sorgen sich, dass andere ihre Anfragen sehen könnten, wenn Tools nicht datenschutzfreundlich konfiguriert sind. Oder sie wissen nicht, welche Daten sie eingeben dürfen und welche nicht. Dadurch entsteht Verunsicherung, selbst wenn das Tool technisch gut funktionieren und DSGVO-konform implementiert sind.

Diese Beispiele zeigen: Bevor wir KI gestalten, müssen wir verstehen, wo Automatisierung wirklich sinnvoll ist – und wo sie vielleicht mehr schadet als nützt.

Was heißt das? Unsere wichtigsten Learnings

1. KI = Automatisierung (und Automatisierung betrifft immer Menschen)

Ob klassisches Machine Learning oder neue LLMs: Am Ende ersetzen oder unterstützen KI-Systeme menschliche Aufgaben. Und das hat immer Auswirkungen auf Rollen, Erwartungen und Arbeitsabläufe. Nur in seltenen Fällen funktioniert ein Prozess vollständig autonom. Meist bleibt der Mensch ein zentraler Bestandteil – mal als Entscheider*in, mal als Prüfer*in, mal als Unterstützer*in des Systems.

2. Nicht alles, was technisch möglich ist, passt zum Auftrag einer Organisation

Ob ein Prozess automatisiert werden sollte, hängt nicht nur von verfügbarer Technik oder potenziellen Kosten ab, sondern vom Kern der Aufgabe. An einem Beispiel wird das schnell klar: In einer Suchtberatungsstelle ist der Erstkontakt extrem sensibel. Wird dieser Schritt automatisiert, kann das Vertrauen beeinträchtigen und Betroffene abschrecken. In einer Organisation ohne direkte personenbezogene Beratung kann derselbe Automatisierungsgrad für Außenkommunikation dagegen große Vorteile bringen und Mitarbeitende entlasten, um anderen Aufgaben nachzukommen.

3. Menschen müssen die Automatisierung mittragen

Viele KI-Systeme funktionieren nur gut, wenn Mitarbeitende sie aktiv unterstützen oder beaufsichtigen. Deshalb muss klar sein:

• Welche Rolle übernehmen Menschen im Prozess?
• Welche Informationen braucht das System?
• Was passiert im Fehlerfall – und wer trägt die Verantwortung?

Wenn diese Fragen ungeklärt bleiben, entsteht Frust statt Entlastung.

Was heißt das für die Praxis?

Um auch für Ihr Vorhaben ein menschenzentriertes KI-Design mitzudenken, haben wir einige Fragen zusammengefasst, um Sie durch den Prozess zu leiten.

1. Ist der Prozess überhaupt für Automatisierung geeignet?

Fragen dazu können sein:

• Ist der Prozess regelmäßig und wiederkehrend?
• Gibt es klare Eingaben und erwartbare Ergebnisse?
• Wie stark hängt der Prozess von menschlicher Interpretation ab?
• Welche Risiken bringen Fehlentscheidungen mit sich?
• Wer trägt im Zweifel die Verantwortung?

Für ein tieferes Verständnis lohnt ein Blick in unser Modul zu KI-Technologien oder in die Grundlagenkurse von Elements of AI.

2. Wie stark soll automatisiert werden – und welche Rolle hat der Mensch?

Hier hilft es, genau zu klären:

• Soll das Tool Daten automatisch verarbeiten und Ergebnisse vorschlagen?
• Soll es Entscheidungen selbst ausführen – oder nur nach menschlicher Bestätigung handeln?
• Soll es lediglich unterstützen oder soll der ganze Prozess vom System übernommen werden?

Wichtig ist dann: Wie verändert das die Arbeit der Nutzenden?

Ein Beispiel: Wenn ein vollautomatisierter Prozess dazu führt, dass Berater*innen sich weniger kompetent fühlen oder viel zusätzliche Kontrolle leisten müssen, entsteht kein Gewinn – sondern Mehrarbeit.

3. Akzeptanz prüfen

Bevor ein Projekt technisch umgesetzt wird, sollte klar sein, ob Expert*innen und Mitarbeitende die Automatisierung überhaupt für sinnvoll halten.

Hier eignen sich:

• der PATS-Fragebogen von Zoubir et al.
• Methoden aus unserem Modul zu Usability-Evaluation

4. Erst dann: technische Umsetzung

Wenn die organisatorischen und menschlichen Fragen geklärt sind, folgt die Wahl der Technologie:

• Braucht es ein LLM-basiertes System?
• Oder reichen klassische Machine-Learning-Tools?

Grundlagen dazu finden Sie in unserem Modul zu KI-Technologien.

5. Rahmenbedingungen prüfen

Bevor ein Projekt final startet, sollten zentrale Risiken geprüft werden:

• Sind Datenschutz und mögliche Biases bzw. Fehler des Systems handhabbar?
• Ist die eingesetzte KI konform zur europäischen KI-Verordnung (siehe unser Modul zum AI Act)?
• Ist das System langfristig betreibbar – inklusive Kosten für Software, Hardware und Wartung?

KI bietet viele Chancen – gerade für gemeinwohlorientierte Organisationen, die mit begrenzten Ressourcen große gesellschaftliche Aufgaben schultern. Gleichzeitig zeigt unsere Arbeit im Projekt Wegweiser.UX-für-KI, wie wichtig es ist, KI-Projekte mensch- und problemzentriert anzugehen.

Wenn Sie Fragen haben oder Feedback zu unserer Lernplattform haben, besuchen Sie uns gerne unter https://wegweiser.ux-fuer-ki.de/

Wir freuen uns über den Austausch!