Diskriminiert vom Computerprogramm

Algorithmen sind nicht unparteiisch. Manche neigen sogar zu sozialer Ungerechtigkeit.

Algorithmen helfen den Behörden bei Entscheidungen. Jedoch sind die Programme nicht immer neutral (Archiv). Foto: Florian Gaertner (Photothek/TDG)

Algorithmen helfen den Behörden bei Entscheidungen. Jedoch sind die Programme nicht immer neutral (Archiv). Foto: Florian Gaertner (Photothek/TDG)

Feedback

Tragen Sie mit Hinweisen zu diesem Artikel bei oder melden Sie uns Fehler.

Algorithmen sind seit einigen Jahren schwer in Mode. Nicht ganz zu Unrecht, sind sie doch für einen guten Teil der digitalen Erfolgsstorys mitverantwortlich. Der Google-Algorithmus sortiert Suchergebnisse so, dass Suchende die am besten passenden Ergebnisse ganz oben finden. Facebooks Algorithmus platziert den Nutzenden passgenau die Inhalte, die sie wirklich interessieren – und Onlinewerbung zeigt Surfenden Anzeigen von Produkten, die sie gemäss ihrem Profil mit hoher Wahrscheinlichkeit kaufen würden. Algorithmen sparen Zeit, sie sind Optimierungswerkzeuge.

Insofern ist es wenig überraschend, dass sich mittlerweile auch die Politik stark für die Entscheidungshilfen per Computer interessiert – mit ähnlichen Begründungen. Zusätzlich zum Argument der Effizienz, das beim Umgang mit Steuergeld ohnehin immer gut ankommt, schwärmen Politiker gern von der vermeintlichen Objektivität, die von Computern getroffene Entscheidungen ausstrahlen. Dass diese Objektivität in der Praxis jedoch häufig ein Trugschluss ist, davon konnten sich Bürger des US-Bundesstaats Indiana schon 2006 überzeugen.

Maschinen sollen über Sozialanträge entscheiden

Damals erteilte der Gouverneur Indianas dem Computerriesen IBM den Auftrag, die Verwaltung seiner Sozialsysteme zu modernisieren. Anstelle von Sozialarbeitern, die ihre Kunden oft über Jahre kannten, sollten Computer eine grössere Rolle spielen, Maschinen statt Menschen sollten künftig darüber entscheiden, ob Antragsteller tatsächlich ein Recht auf Beihilfe für Krankenversicherungen, Essen oder Wohnungen haben. Das erklärte Ziel der Regierung: Sozialmissbrauch sollte verhindert und die Entscheidungen sollten fairer gestalten werden.

Kern dieser computergestützten Lösung von IBM sollte ein Algorithmus sein: In einem Computersystem werden alle verfügbaren Daten der Antragsteller gesammelt, dort werden sie verarbeitet, am Ende steht das Ergebnis.

Durch den Computer steigt die Diskriminierungsgefahr

Im ersten Jahr nach der Einführung des neuen Computersystems wurden über eine Million Anträge abgelehnt, ein Anstieg von 54 Prozent. Zehntausende Menschen verloren ihre Krankenversicherung, Essensmarken oder andere Beihilfen. Viele von ihnen hatten neue Onlineformulare nicht korrekt ausgefüllt oder jahrealte Belege nicht mehr gefunden. In zumindest einem Fall starb eine Frau, weil ihr das Computersystem die notwendige Krebsbehandlung verweigert hatte. Recherchiert hat ihn die US-Autorin Virginia Eubanks,die seit Jahren zu den Folgen automatisierter Entscheidungsmechanismen forscht und an der State University of New York (SUNY) lehrt.

Ihre Erkenntnisse hat Eubanks 2018 in ihrem Buch «Automating Inequality. How High-Tech Tools Profile, Police, and Punish the Poor» zusammengefasst. Eubanks’ Botschaft: Algorithmen sind nicht neutral, egal, wie sehr Politiker von Effizienz und Objektivität der neuen Entscheidungshelfer schwärmen.

Zu einem ähnlichen Ergebnis kommt jetzt eine Studie des Ins­tituts für Technikfolgenabschätzung und Systemanalyse des Karlsruher Instituts für Technologie (KIT), in Auftrag gegeben von der Antidiskriminierungsstelle des Bundes. Die Forscher sollten herausfinden, inwiefern algorithmenbasierte Systeme zu Diskriminierung einzelner Menschen oder ganzer Bevölkerungsgruppen beitragen können. Ein zentrales Ergebnis: Im Vergleich zu Entscheidungen durch Sachbearbeiter steigt die Diskriminierungsgefahr sogar noch, wenn Computer die Entscheidungen treffen. Denn Menschen urteilen von Fall zu Fall. Steckt ein Fehler im Algorithmus, hat er automatisch Auswirkungen auf alle Entscheidungen.

Aus den fast 50 Fallbeispielen der Studie wird deutlich, dass nahezu jedes System, das auf Algorithmen beruht, anfällig ist für Diskriminierung. Das fängt schon damit an, dass die automatisch generierten Untertitel auf der Videoplattform Youtube offenbar Probleme haben, die Stimmen von Frauen und Schotten zu transkribieren. Politisch problematischer ist schon, dass Gefühlsanalysen, wie sie zum Beispiel auf Twitter zu politischen Einstellungen stattfinden, die Schriftsprache der afroamerikanischen Bevölkerung weniger gut analysieren können als die weisser US-Amerikaner. So wird die Meinung der schwarzen Bürger im öffentlichen Diskurs womöglich weniger berücksichtigt.

Studienleiter Carsten Orwat kann dabei auf eine Reihe Vorarbeiten aufbauen. So demons­trierte die amerikanische Bürgerrechtsorganisation ACLU 2018, dass die Gesichtserkennung von Amazon 28 Mitglieder des US-Kongresses als gesuchte Straftäter einstufte. Überproportional von den falsch-positiven Treffern betroffen waren nicht weisse Politiker. Die stiftungsfinanzierte Nachrichtenplattform Pro Publica fand heraus, dass ein von der US-Justiz eingesetztes System zur Beurteilung der Rückfallgefahr von Straftätern bei Afroamerikanern ein höheres Risiko berechnete.

Auch Facebook anfällig für Ungleichbehandlung

Auch das Microtargeting auf Facebook, bei dem Nutzer personalisierte Werbung ausgespielt bekommen, ist anfällig für Ungleichbehandlung. So nutzen Arbeitgeber die Plattform teilweise, um Jobanzeigen gezielt nur Männern oder nur Bewerbern unterhalb einer gewissen Altersgrenze anzuzeigen. Manche Wohnungsvermieter verhinderten nach Recherchen von Pro Publica mithilfe der Technik, dass afroamerikanische Mieter ihre Anzeigen überhaupt zu sehen bekamen.

Um solche Diskriminierungen auszuschliessen, empfiehlt die Studie des KIT vor allem Transparenz. Unternehmen wie Facebook weigern sich seit Jahren, Einblick in ihre Algorithmen zu geben. Algorithmen, die für Behörden entwickelt würden, sollten dagegen im Vorfeld umfassend auf mögliche Diskriminierungsrisiken geprüft werden, empfehlen die Studienautoren. Das Ziel sei, dass Algorithmen in Zukunft schon diskriminierungsfrei designt werden.

Erstellt: 22.10.2019, 18:19 Uhr

Artikel zum Thema

So trickst man die IT-Vorgaben am Firmen-Computer aus

Installationssperre, aufgezwungene Hintergrundbilder und geblockte Websites? Tipps für mehr persönliche Freiheit am Arbeitsplatz. Mehr...

Versteckt im ultrageheimen Computer

Analyse Donald Trumps Ukraine-Telefonat wurde separat gespeichert – offenbar um es zu verbergen. Es soll nicht das einzige sein. Mehr...

Brachliegendes Potenzial beim 3-D-Druck

Die Geräte stehen in Hightechlabors und in Hobbyräumen. In Werkstätten und Fabrikhallen aber werden ihre Möglichkeiten noch recht wenig ausgeschöpft. Mehr...

Die Redaktion auf Twitter

Stets informiert und aktuell. Folgen Sie uns auf dem Kurznachrichtendienst.

Kommentare

Die Welt in Bildern

Fast wie auf der Titanic: Ein Liebespaar betrachtet die untergehende Sonne im untergehenden Venedig (17. November 2019).
(Bild: Luca Bruno) Mehr...