Einleitung

Der Einsatz von so genannter künstlicher Intelligenz (KI) in der polizeilichen Ermittlungsarbeit verspricht effektivere und kostengünstigere Verbrechensprävention und -aufklärung. KI kann dort ansetzen, wo menschliche Fähigkeiten und Kapazitäten potenziell nicht ausreichen; durch automatisierte, papierlose Arbeitsprozesse sollen sowohl die Produktivität als auch die Objektivität polizeilicher Maßnahmen verbessert werden. Diverse technische Lösungen mit KI-Unterstützung für die polizeiliche Ermittlungsarbeit befinden sich auch in Deutschland bereits im Einsatz, bspw. zur Sichtung und Auswertung von kinderpornographischem Bildmaterial (LKA Niedersachsen 2020).

Während die KI-Branche mit großer Geschwindigkeit wächst, wurde erst 2021 mit dem Artificial Intelligence Act der Europäischen Union (EU) der weltweit erste Gesetzentwurf zur KI-Regulierung vorgelegt. Dieser definiert Echtzeit-Gesichtserkennung im öffentlichen Raum als Hochrisikotechnologie, deren Einsatz nur in besonderen Ausnahmefällen wie der Terrorismusbekämpfung oder der Suche nach vermissten Personen erlaubt sein soll (Europäische Kommission 2021). Im Polizeikontext können fehlerhafte Entscheidungen zu gravierenden Grundrechtsverletzungen wie rechtswidrigen Festnahmen führen (Selbst 2017). Um unerwünschte Nebeneffekte und Risiken für Individuen und Personengruppen zu minimieren, sind an diese hochrisikoreichen Anwendungen über technische Ansprüche hinaus besonders strenge Anforderungen auf dem gesellschaftlichen Level zu stellen. Hochrisiko-KI tangiert Fragen sozialer Gerechtigkeit und die Operationalisierung von Prinzipien wie Fairness, Gleichbehandlung und Nichtdiskriminierung.

Diskriminierung grenzt sich von Ungleichbehandlung dadurch ab, dass sie auf der Zugehörigkeit zu sozial bedeutsamen Gruppen beruht (Lippert-Rasmussen 2013). Das bedeutet, dass Personen aufgrund von Attributen wie Geschlecht, ethnischer Herkunft oder Behinderung ungerechtfertigter, negativer Ungleichbehandlung ausgesetzt sind (Hagendorff 2019). Algorithmische Outputs, die auf ‚Biases‘ (auf Deutsch Verzerrungen) in KI-Systemen beruhen und sich so auf bestehende gesellschaftliche Diskriminierungsdynamiken stützen, können Ungerechtigkeiten (re-)produzieren und automatisieren (Eubanks 2018). Der Begriff KI-Fairness, auch ‚algorithmische Fairness‘ genannt, beschreibt Methoden, die durch Verzerrungen in KI-Modellen hervorgerufene soziale Diskriminierung mindern oder ausschließen sollen.

Durch die Entwicklung und Anwendung von KI-basierter Gesichtserkennung ergeben sich auch besondere ethische Problematiken.

Dieser Beitrag diskutiert Fairness in KI-basierten Verfahren der polizeilichen Ermittlungsarbeit. Im Folgenden wird zunächst kurz der Projektkontext erläutert, aus dem die Autor*innen die Beitragselemente ableiten, bevor verschiedene Quellen von Verzerrungen in KI-Systemen aufgezeigt werden. Daraufhin werden KI-Fairness und ihre Grenzen anhand verschiedener Metriken und deren realweltlichen Auswirkungen problematisiert. Der Beitrag schließt ab mit einer Diskussion zum Bezug zur Technikfolgenabschätzung (TA) und der effektiven Problematisierung von KI-Fairness in interdisziplinären Forschungsprojekten.

Hintergrund

Die Überlegungen in diesem Artikel leiten sich aus ethischen Analysen ab, die im Rahmen zweier interdisziplinärer Projekte im Kontext ziviler Sicherheitsforschung durchgeführt wurden, in denen verschiedene digitale Erkennungs- und Analysetechnologien für die polizeiliche Ermittlungsarbeit entwickelt werden. Die Forschung schließt explizit die Adressierung von Bias und Diskriminierung in Verfahren KI-basierter Gesichtserkennung ein. Die Projekte verfolgen einen integrierten Ansatz der Technikentwicklung (Spindler et al. 2020), bei dem technische Perspektiven mit ethischen, rechtlichen, sozialen und wirtschaftlichen (ELSE) Aspekten in Bezug gesetzt werden. Wie bereits im TA-Kontext diskutiert (Gressel und Orlowski 2019), reichen diese Ansätze über den Anspruch klassischer ethischer Begleitforschung hinaus, da ELSE-Aspekte von Projektbeginn an und über alle Arbeitspakete hinweg einbezogen werden.

Dieser Beitrag hat den Anspruch, KI-Fairness in polizeilichen KI-Systemen über einzelne Projekte hinausgehend zu diskutieren. Die Fokussierung auf die Gesichtserkennung bietet sich jedoch an, da sie als weitverbreitete Anwendung viele ethische Problematiken algorithmischer Polizeiarbeit aufzeigt. Biometrische Erkennungssysteme stellen besondere Herausforderungen an die KI-Modellierung, da individuelle menschliche Charakteristiken erfasst, erkannt und verifiziert werden müssen (Merler et al. 2019). Durch die Entwicklung und Anwendung von KI-basierter Gesichtserkennung ergeben sich auch besondere ethische Problematiken, was sich im bestehenden KI-Regulierungsentwurf (Europäische Kommission 2021) der EU widerspiegelt, der die biometrische Fernidentifizierung als Hochrisikotechnologie einstuft. Verzerrungen und resultierende Diskriminierung werden hier explizit als besondere Risiken genannt (Europäische Kommission 2021, S. 26).

Die Technologie wird trotz der dargestellten Risiken in diversen Kontexten von Überwachung und Kontrolle erprobt (Bundespolizei 2018; Jürs 2022; Monroy 2022); auch in von den Autor*innen begleiteten Projekten werden Demonstratoren von polizeilichen Gesichtserkennungssystemen entwickelt, um bspw. Personen in Überwachungsaufnahmen zu identifizieren. Dies wirft ethisch-normative Fragestellungen hinsichtlich Fairness und Biases auf, die im Rahmen der Technikentwicklung mit technischen, polizeilichen, kommerziellen und rechtlichen Partnern diskutiert werden. Von dieser Zusammenarbeit ausgehend bietet sich eine Evaluierung der Diskriminierungsrisiken unter den Vorzeichen der TA an. Entsprechend sollen in diesem Beitrag mögliche Verzerrungen aufgeführt und im Hinblick auf Fairness-Kriterien reflektiert werden.

Verzerrungen in KI-Verfahren der Gesichtserkennung

Techniken angewandter KI können zur Identifizierung von Gesichtern in fotografischen Bilddaten verwendet werden. Vor der Operationalisierung in konkreten Einsatzgebieten werden solche Systeme anhand riesiger Mengen von Beispieldaten trainiert und lernen so, verschiedene Gesichter anhand verschiedener visueller Merkmale zu unterscheiden. Dabei kommen sowohl überwachte als auch unüberwachte Ansätze des KI-Trainings zum Einsatz (Anwarul und Dahiya 2020). Aus unterschiedlichen Gründen variiert die Treffsicherheit des Systems oft zwischen verschiedenen zu identifizierenden Merkmalen, was potenziell zur Diskriminierung sozialer Gruppen führen kann. Im Folgenden werden Auslöser und Mechanismen solcher Verzerrungen in polizeilich genutzter Gesichtserkennung diskutiert.

Qualität der Trainingsdaten

Eine bedeutende Quelle für Verzerrungen in KI-Systemen sind Trainingsdaten.[1] Im Rahmen von Trainingsprozessen etablieren KI-Modelle auf Basis von Datensätzen bestimmte Ähnlichkeiten und Unterschiede zwischen Elementen. In Verfahren des unüberwachten Lernens entstammen die Daten bspw. sozialen Medien oder Bilddatenbanken, die Verzerrungen enthalten können. Bestimmte Gruppen, z. B. Frauen, nichtweiße oder ältere Personen, können in Trainingsdatenbanken unterrepräsentiert sein, was dazu führt, dass ihnen gegenüber die algorithmische Ergebnisgenauigkeit sinkt (Berk et al. 2018). Wenn wenig historische Daten existieren oder aus Gründen des Datenschutzes nicht nutzbar sind, können synthetische Trainingsdaten reale Datensätze ersetzen oder ergänzen. Diese fiktiven, realistische Daten, die gezielt für die KI-Entwicklung hergestellt werden, sind grundsätzlich dazu geeignet, das Problem existierender Verzerrungen in historischen Daten zu umgehen, können Minderheiten aber auch fehlrepräsentieren (Bhanot et al. 2021).

Auch sind Qualität und Auswertbarkeit von Foto- und Videoaufnahmen häufig von schwierigen Konditionen hinsichtlich z. B. Perspektive, Belichtung oder Bildauflösung beeinflusst, die allgemein zur geringeren Genauigkeit von KI-Modellen, z. B. bezüglich der korrekten Identifizierung von Straftäter*innen, beitragen können (Anwarul und Dahiya 2020). Verlässlichkeit und Genauigkeit und daher auch die Fairness der Modelle hängen so zu einem erheblichen Teil von der Verfügbarkeit qualitativ hochwertiger Trainingsdaten ab.

Annotation der Trainingsdaten

Auch die Einschreibung sozialer und kultureller Vorannahmen während der Datenannotation kann zu Verzerrungen in Trainingsdatensätzen führen (Selbst 2017). In überwachten KI-Trainingsprozessen markieren Personen bestimmte Charakteristika in Datensätzen, deren Erkennung anschließend von einem Modell erlernt wird. Das Labeling von Gesichtsdatenbanken wird üblicherweise von KI-Entwickler*innen selbst oder von Dienstleister*innen auf Crowdsourcing-Plattformen wie Amazon Mechanical Turk oder Scale durchgeführt. Dabei identifizieren menschliche Akteure übereinstimmende Aufnahmen von Individuen und kennzeichnen Merkmale wie Gesichtszüge, Mimik und Posen. Diskriminierende Stereotype können hier durch unbeabsichtigte Voreingenommenheit oder absichtliche Beeinflussung Eingang finden (Leslie 2020). Wenn bspw. Individuen bestimmter Ethnien häufiger falsch identifiziert werden, können die Modelle dies in höheren Fehlerraten für diese Gruppen widerspiegeln. Bei aktiven KI-Lernverfahren, in welchen Nutzer*innen Verantwortung bei der Anpassung und Optimierung automatisierter Analysesysteme eingeräumt werden, kann Diskriminierung zudem im laufenden Betrieb eingeschleust werden, wenn Einzelne den Lernprozess durch oft unbewusste Vorurteile beeinflussen (Fischer et al. 2022).

Ergebnisgenauigkeit der KI-Verfahren

Ein bekanntes Phänomen in der KI-Gesichtserkennung sind signifikant höhere Fehlerquoten für weibliche[2] und nicht-weiße Gesichter und somit eine schlechtere Ergebnisgenauigkeit. Abseits der Repräsentation in Trainingsdaten können hier auch Faktoren wie Kameraeinstellungen (Roth 2009), Gesichtsmorphologie oder Makeup (Albiero et al. 2022) eine Rolle spielen. Diese Umstände bilden gesellschaftliche Dynamiken ab, die weiße und männliche Personen als den menschlichen Standard positionieren und andere Gruppen als Abweichungen marginalisieren. Bestehende Diskriminierung wird so im KI-Kontext fortgeführt, insbesondere gegenüber von intersektionalen Unterdrückungen betroffenen Gruppen wie Schwarzen Frauen (Buolamwini und Gebru 2018).

Nicht nur Unter-, sondern auch Überrepräsentation kann zu Biases führen, wenn z. B. Schwarze Individuen häufiger polizeilich erfasst und somit häufiger durch Datenbankabgleiche – korrekt wie inkorrekt – identifiziert werden (Bacchini und Lorusso 2019). Da eine häufigere Erfassung nicht zwingend eine tatsächliche höhere Straffälligkeit bedeutet, sondern auch durch diskriminierende Polizeipraktiken wie unverhältnismäßige Überwachung oder Verfolgung bedingt ist (Garvie und Frankle 2016; Selbst 2017), werden so existierende rassistische Dynamiken verstärkt.

Überprüfung algorithmischer Fairness

Erschwerend kommt hinzu, dass der Analyseprozess und die identifizierten Datenmuster im maschinellen Lernen, z. B. bei der Identifizierung eines Individuums, wie beschrieben häufig hochkomplex und für Personen kognitiv kaum interpretierbar sind. Gerade der Beitrag, den die gewählten Trainingsdatensätze auf die Outputs eines solchen Blackbox-Modells haben, ist selten konkret nachvollziehbar. Die Opazität und wahrgenommene Autorität von Computerprozessen können dazu führen, dass Biases unerkannt bleiben, die zusätzlich stabilisiert werden, wenn polizeiliche Ermittler*innen ohne tiefergehendes Vorwissen über KI-Systeme scheinbar neutrale algorithmische Entscheidungen unter dem Einfluss subjektiver Vorannahmen interpretieren (Helm und Hagendorff 2021).

Lösungsansätze der KI-Fairness

Die Europäische Kommission definiert Fairness im KI-Kontext als den Schutz vor (algorithmischer) Verzerrung, Diskriminierung und Stigmatisierung von Personen und Gruppen (Europäische Kommission 2018). Diese Problematiken werden auf verschiedenen Wegen von Fairness-Ansätzen adressiert. Dort, wo hohe Fehlerquoten durch Unterrepräsentation in Trainingsdaten bedingt sind, können Datensätze mit höherer Diversität hinsichtlich Hautfarbe und Geschlecht wie z. B. Diversity in Faces (Merler et al. 2019) oder Pilot Parliaments Benchmark (Buolamwini und Gebru 2018) Abhilfe schaffen. Bereits formulierte Anforderungen an fairness-sensible Daten (Le Quy et al. 2022) bieten sich zum Vergleich verwendeter Datensätze an. Doch Diversität in Datensätzen ist zwar eine Grundlage, aber kein alleiniger Garant für Fairness.

Statistische Methoden der KI-Fairness sollen durch algorithmische Verzerrungen in KI-Modellen hervorgerufene soziale Diskriminierung mindern oder ausschließen. Gängige informatische Definitionen unterscheiden dabei insbesondere zwischen individueller Fairness und Gruppenfairness. Erstere soll sicherstellen, dass statistische Messungen der Ergebnisse für Individuen mit denselben Merkmalen gleich sind. Bei Verfahren der Gruppenfairness werden Ergebnisse eines Modells so angeglichen, dass sie für verschiedene vordefinierte Gruppen von Datensubjekten mit geschützten Merkmalen ähnlich oder gleich sind (Mahoney et al. 2020, S. vii).

Es existiert eine Vielzahl statistischer Methoden, mit denen sich KI-Fairness evaluieren lässt (Mehrabi et al. 2021). Die Identifizierung des geeigneten Verfahrens in einem konkreten Fall operationalisiert über technische Fragestellungen hinaus verschiedene Vorstellungen von Fairness und Gerechtigkeit. Angenommen, eine KI selektiert erfolgsversprechende Kandidat*innen für ein Informatikstudium: Bei der Optimierung gegenüber dem Attribut binäres Geschlecht auf ‚demographic parity‘ soll die Verteilung sozialer Gruppen in einer Gesamtbevölkerung abgebildet werden, sodass jeweils die Hälfte der Studienplätze an Frauen und an Männer vergeben wird, unabhängig von der durchschnittlichen Qualität der jeweiligen Bewerbungen (Quotengerechtigkeit). Optimiert auf die Metrik der ‚equalized odds‘ hingegen, zielt das System darauf, dass Bewerber*innen mit ähnlichen Qualifikationen gleiche Chancen haben, während die letztendliche Geschlechterquote im Studiengang gleichgültig ist (Chancengerechtigkeit).

KI-Verfahren zur Fairness in der Gesichtserkennung werden gerne auf Metriken der Chancengerechtigkeit mit gleichen ‚true-positive‘-Raten für geschützte und ungeschützte Gruppen trainiert. Es wird dabei angenommen, dass eine Erkennung durch das System die favorable Option darstellt, was jedoch nicht immer der sozialen Realität entspricht. In der polizeilichen Ermittlungsarbeit bedeuten ‚false positives‘ in einer Gesichtserkennungs-Software, dass Unbeteiligte als Verdächtige fehlidentifiziert werden; die Folgen von falsch-positiven Ergebnissen sind hier besonders schwerwiegend bis hin zu unbegründeten Festnahmen und Gefährdungen der körperlichen Unversehrtheit. ‚False negatives‘ bedeuten, dass Täter*innen nicht identifiziert werden und dadurch der Strafverfolgung entgehen. Während der Suche nach einem vermissten Kind wiederum spielen ‚false positives‘ eine weniger große Rolle, da sie direkt nach der Fehlentscheidung des Systems durch menschliche Akteure überprüfbar sind und daher keine Folgen für das fälschlich identifizierte Kind haben. Ein ‚false negative‘ resultiert dagegen in einer Nicht-Identifizierung des vermissten Kindes und hat damit potenziell schwerwiegende Nachteile für Betroffene und Ermittlungsbehörden, deren Suche durch den Fehler des Systems verlängert wird oder sogar erfolglos bleibt.

Jede Quantifizierung und Abstrahierung von Fairness kann davon ablenken, wie KI-Systeme in strukturellen Diskriminierungsdynamiken verankert sind.

Niedrige Fehlerraten sind in der algorithmischen Polizeiarbeit daher von hoher Priorität, was insbesondere für sozial benachteiligte Gruppen relevant ist, da für diese wie dargelegt Fehlerraten häufig signifikant höher sind. Eine künstliche Angleichung der Raten verringert dabei zwangsweise die Treffgenauigkeit des technischen Systems (Kleinberg et al. 2016) und Fairnessformeln lassen sich oft nicht parallel optimieren, da sie über gemeinsame Variablen verbunden sind (Ruf und Detyniecki 2021). Das Ausklammern geschützter Merkmale (‚fairness through unawareness‘) (Gajane und Pechenizkiy 2018) kann keine allgemeine Lösung darstellen, da es die Nichterkennung von Biases zur Folge haben kann. So ließe sich beim Ausschluss des Attributs Geschlecht in der Gesichtserkennung eine erhöhte Fehlerrate gegenüber Frauen schlechter feststellen und daher nicht beheben. Zudem können nichtgeschützte Attribute als Stellvertreter für geschützte Merkmale fungieren. Z. B. hat sich gezeigt, dass die an sich unproblematische Variable ‚Postleitzahl‘ unter Umständen auf das geschützte Merkmal ‚Ethnie‘ (‚race‘) schließen lässt (Datta et al. 2017).

Fairness tangiert auch die Art des Systemeinsatzes in der Realwelt. Angenommen, ein KI-gestütztes System für Gesichtserkennung wird in einem Stadtteil mit mehrheitlich Schwarzer Bevölkerung installiert: Auch wenn das eingesetzte KI-System gleiche Fehlerraten für alle Ethnien ausgibt, stellen sich hier Fragen der Diskriminierung durch KI – eben deshalb, weil eine Schwarze Nachbarschaft von einem besonders präzisen (sogar algorithmisch ‚fairen‘) System überwacht wird, während andere Stadtteile unbeobachtet bleiben. Jede versuchte Quantifizierung und Abstrahierung von Fairness kann davon ablenken, wie KI-Systeme in strukturellen Diskriminierungsdynamiken verankert sind (John-Mathews et al. 2022) und wie diese sich konkret im Leben von unterprivilegierten Personen niederschlagen (Birhane et al. 2022). Das tangiert auch andere Voraussetzungen für Fairness wie Transparenz und Erklärbarkeit, da Betroffene der Entscheidungen von Hochrisiko-Systemen z. B. wissen können sollten, auf welche Metrik hin optimiert wurde und welche Ergebnisse bei den verwendeten Verfahren erreicht wurden.

Diskussion und Ausblick

Wie sich im Kontext der hier diskutierten polizeilichen Gesichtserkennung zeigt, ist statistisch verstandene KI-Fairness alleine nicht geeignet, um Nicht-Diskriminierung im realen Betrieb sicherzustellen. Aus ethischer Perspektive darf der Blick nicht von historischen und strukturellen Machtdynamiken abrücken, da eine eng gefasste Auffassung von KI-Fairness zu sehr auf bloße Daten anstatt auf realweltliche Konsequenzen gerichtet sein kann (John-Mathews et al. 2022). Normative Überlegungen sind hier von großer Bedeutung, um die Folgen der Anwendung von Fairnesskriterien und -metriken kontextspezifisch einzuschätzen. Ob und wie ein ‚fairer‘ Einsatz von Gesichtserkennungssystemen und anderer polizeilicher KI möglich ist und wie die Risiken dieser Anwendungen minimiert werden können, kann nicht allgemeingültig beantwortet werden; Fragen wie diese müssen im Kontext der jeweiligen Szenarien ganzheitlich und aus transdisziplinärer Sicht von den beteiligten Stakeholdern verhandelt werden. Das bekannte Collingridge-Dilemma, demzufolge in frühen Entwicklungsstadien noch Einfluss auf Technologien genommen werden kann, aber noch Unsicherheit über die tatsächliche Nutzung herrscht, während in späten Stadien das Gegenteil gilt, ist im Zusammenhang mit sich häufig noch in der Forschungsphase befindenden KI eine besondere Herausforderung der TA (Humm et al. 2021).

Integrierte Ansätze der Technikentwicklung können dieses Dilemma und verwandte Problematiken effektiv adressieren, da technische Perspektiven von Anfang an und durchgehend mit ELSE-Aspekten in Bezug gesetzt werden. Die für die TA notwendige kontinuierliche und ganzheitliche Beobachtung der Technikentwicklung und Beurteilung einzelner Einsatzformen (Albrecht und Kellermann 2020) werden so ermöglicht. Im Rahmen der Projektarbeit der Autor*innen zeigt sich, dass dieses Vorgehen dazu geeignet ist, normative Probleme wie algorithmische Diskriminierung frühestmöglich zu thematisieren; in den Polizeiprojekten wurde das ethische Teilprojekt bereits zu Anfang in die Formulierung technischer Spezifikationen der Vorhaben zur Gesichtserkennung involviert. So konnten die beschriebenen Quellen von Diskriminierung sowie vorhandene Lösungsansätze und ihre Grenzen kontinuierlich mit technischen, polizeilichen und rechtlichen Partnern diskutiert und neu ausgehandelt werden.