Zwei Menschen in einer öffentlichen Toilette halten ihre Hände abwechselnd unter einen automatisierten Seifenspender. Der einen Personen gibt der Automat Seife auf die Hand, der anderen nicht. Der Unterschied zwischen beiden Personen, die eine ist weiß, die andere Person, der der Seifenspender keine Seife frei gibt, ist schwarz. Offenbar wurde der eingebaute Infrarot-Sensor so programmiert, dass er zwar problemlos auf helle Haut reagiert, dunkle Haut jedoch im schlimmsten Fall nicht mal als menschlich erkennt.
Oftmals wird angenommen, dass Computerprogramme neutral und gar nicht zu Diskriminierung fähig seien. Das ist ein Trugschluss. Computerprogramme und Algorithmen werden immer von Menschen gemacht und Menschen implementieren meist unbewusst ihre Vorurteile in diese Systeme.
Was ist ein Algorithmus?
Unsere Gesellschaft ist kaum mehr Denkbar ohne Algorithmen. Sie begegnen uns ständig im Alltag, ob bei Facebook, auf Amazon, im Auto-Navi, im kontrollierten Satzbau in Office Word, auf Dating-Plattformen oder bei der Bewertung unserer Kreditwürdigkeit. Seit Jahrzehnten erleichtern Algorithmen unser Leben – sie entscheiden, wählen aus und bewerten. Mit dem nötigen Input errechnet der Algorithmus den bestmöglichen Output. Im Bereich Big Data werden große Datenmengen in ein System eingespeist und die Künstliche Intelligenz kann daraus selbstständig Schlüsse ziehen, sie lernt. Der Algorithmus kann so bisher unbekannte Muster identifizieren, die in Korrelation mit dem menschlichen Verhalten stehen und Entscheidungen fällen.
Google, Facebook und Co. berechnen, was wir selbst nicht wissen und zeigen uns im Netz die Dinge, die wir sehen sollen. So erhalten beispielsweise zwei Nutzer*innen unterschiedliche Ergebnisse, wenn sie in der Suchmaschine den gleichen Begriff eingeben. Am Ende entscheidet der Suchalgorithmus, welche Inhalte den Nutzer*innen angezeigt werden. Oftmals wird angenommen, dass algorithmische Entscheidungsprozesse (Algorithmic Decision Making; ADM) neutral seien, da keine Vorurteile in diesen Prozess mit einfließen würden. Das ist jedoch zu kurz gedacht.
2015 beschriftete eine Bilder-App von Google Fotos von Menschen mit schwarzer Haut mit „Gorilla“. Eine Software der neuseeländischen Passbehörde verweigerte die Anerkennung asiatischer Pässe, der Algorithmus ging davon aus, dass die Augen der Abgebildeten geschlossen waren. Wie kommt es zu solch algorithmischen Fehlentscheidungen?
In Deutschland sind die Auswirkungen und Gründe bisher wenig erforscht. Die Studie „Diskriminierungsrisiken durch Verwendung von Algorithmen“ im Auftrag der Antidiskriminierungsstelle des Bundes, zeigt nun anhand von zahlreichen Beispielen nicht nur technische, sondern auch gesellschaftliche Ursachen von Diskriminierungsmöglichkeiten und Risiken auf. Dabei haben diskriminierende und rassistische Verzerrungen (Bias) in der Regel zwei Ursachen:
Erste Ursache: Unzureichende Daten im Input
Die Grundlage moderner Algorithmen sind immer Daten der Vergangenheit. Sie werden in das System eingespeist und verarbeitet. So zieht der Algorithmus letztendlich seine Schlüsse. Allerdings können schon die Daten, anhand derer der Algorithmus lernt, Verzerrungen aufweisen. Der Algorithmus wird diesen bias reproduzieren. So wird der Output letztendlich verzerrt und das Problem, Diskriminierung, wird bestärkt, weil der Algorithmus aus seinen diskriminierenden Ergebnis Muster erstellt. So werden Menschen, denen bestimmte Merkmale zugeschrieben werden kategorisiert.
Diese Art der algorithmischen Verzerrung kann an unvollständigen oder veralteten Datensätzen liegen. Außerdem an fehlender Sensibilität der Entwickler*innen für diverse Datensätze. Wenn der Seifenspender nur auf Menschen mit weißer Haut reagiert, liegt das daran, dass das Programm in der Entwicklung nur ungenügend mit Daten schwarzer Menschen gefüttert wurde. Dieses Problem können wir angehen, indem Dantensätze inklusiver gestaltet werden. Eine Software zur Gesichtserkennung darf nicht nur mit Bildern weißer, westeuropäisch aussehender Menschen bestückt werden. Der Datensatz muss durch dunkle und asiatischen Gesichter erweitert werden.
Historische Diskriminierung
Auch historische Diskriminierungsmechanismen können in Algorithmen einfließen. So soll in Österreich künftig ein Algorithmus über die Jobchancen von Arbeitslosen entscheiden, indem es sie in Kategorien einteilen. Vor allem Menschen mit Behinderungen, Frauen und ältere Menschen würden hier diskriminiert werden. Der Algorithmus rechnet ihnen weniger Chancen auf dem Arbeitsmarkt zu und kommt zu dem Ergebnis, dass der österreichische Arbeitsmarktservice (AMS) diese Gruppen nicht fördern bräuchte, weil sie eh schwer vermittelbar seien. Der Algorithmus lernte anhand von vergangenen Arbeitsmarktdaten, dass es Frauen auf dem Arbeitsmarkt schwerer haben und schloss daraus für die Zukunft. „Diese diskriminierenden Programme entstehen nicht aus dem nichts“, meint Mick Prinz, Projektleiter von Civic.Net – einem Projekt der Amadeu Antonio Stiftung, dass sich unter anderem mit Diskriminierungen im digitalen Bereich befasst: „Die Codes werden von Menschen geschrieben, die meist einer privilegierten Gruppe angehören und sich dieser Diskriminierung nicht zwingend bewusst sein müssen.“
Tödlich kann diese vorurteilsbeladene Programmierung bei eigenständig fahrenden Autos werden. Wissenschaftler*innen des Georgia Institute of Technology haben in einer Studie von 2019 herausgestellt, dass Menschen mit hellerer Hautfarbe von selbstfahrenden Autos öfter erkannt würden als dunkelhäutige Menschen. Die Erkennungsrate der hellhäutigen Menschen lag im Schnitt um fünf Prozentpunkte über jener der Menschen mit dunkler Hautfarbe.
Zweite Ursache: Technische Daten selbst, im Output
An sich sind Computerprogramme neutral, sie sind weder diskriminierend noch sexistisch, erst die Daten mit denen Menschen diese Systeme füttern, schaffen Abwertungen. Eine zweite Ursache für einen diskriminierenden bias liegt jedoch nicht im Input der Daten sondern im Output. In den USA stellte beispielsweise ein Algorithmus eine Kausalität zwischen einer hohen Fluktuation von Mitarbeiter*innen und der Entfernung zwischen Wohn- und Arbeitsplatz fest, ohne die Kategorien „Ethnie“ beziehungsweise Hautfarbe zu haben. Das System riet der Firma, keine Arbeitssuchenden einzustellen, die einen weiten Arbeitsweg auf sich nehmen müssten. In den USA benachteiligt dieser Schluss jedoch Afroamerikaner*innen, weil sie meist in Außenbezirken großer Städte leben. So sortierte das Computerprogramm schwarze Menschen aus, obwohl es keine Kenntnis über deren Hautfarbe hatte. Hier resultiert die Diskriminierung allein auf Basis von statistischen Auswertungen, die wiederum Bewertungen von anderen Personen abbilden. Hier kann es zu rassistischen und sexistischen Fehlschlüssen auf Basis zugeschriebener Merkmale kommen. Diese Diskriminierungsrisiken „sind nicht durch technische Lösungen zu beseitigen, sondern bedürfen der gesellschaftlichen Lösung durch geeignete Formen der politischen Handhabung und gegebenenfalls Regulation“, heißt es in der Studie.
Algorithmen bilden nicht die Zukunft ab, sie zementieren die Vergangenheit
Grundlegend ist das Problem, dass Algorithmen immer mit Daten aus der Vergangenheit gefüttert werden, aufgrund dessen sie dann Entscheidungen treffen. Dabei werden jedoch bestehende gesellschaftliche Ungleichheiten gefestigt, statt sie aufzulösen. Die Programme spiegeln oft eine Gesellschaft wider, die keine Chancengleichheit bietet. „Diese Form der Diskriminierung kann wahnsinnig gefährlich werden für alle marginalisierten Gruppen“, so Nushin Isabelle Yazdani, Künstlerin und KI-Researcherin am Freitag auf einer Veranstaltung in Berlin, die sich mit dem Thema beschäftigte.
Ein großes Problem ist, dass algorithmische Diskriminierung oft sogar für Betroffene nicht direkt ersichtlich ist. Schlicht weil sie nicht wissen, wie ein Computersystem zu seinem Ergebnis gekommen ist. Selbst die Entwickler*innen können die Ergebnisse zunehmend nicht mehr nachvollziehen, da sie auf Grund der enormen Datensätze oft nicht wissen, wie das System zu seinem Schluss gekommen ist.
Um diesen digitalen Diskriminierungsmechanismen zu entgegnen, sind rechtliche Leitfäden, Transparenz und Kontrolle genauso wichtig wie ein Bewusstseinswandel, dass Algorithmen nicht immer nur das Allheilmittel unserer Gesellschaft sind.
Weitere Seiten zum Thema:
https://algorules.org/startseite/
