Ich in der Datenwolke

Das reale Leben und die digitale Existenz – der moderne Mensch lebt mit einer gespaltenen Persönlichkeit. Das Problem: Das Bild, das sich Algorithmen von einer Person machen, ist voller Vor- und Fehlurteile.

Suchbild mit schwarzer Frau: Die Gewinner eines von einem Roboter entschiedenen Schönheitswettbewerbs. Fotos: beauty.ai

Suchbild mit schwarzer Frau: Die Gewinner eines von einem Roboter entschiedenen Schönheitswettbewerbs. Fotos: beauty.ai

Feedback

Tragen Sie mit Hinweisen zu diesem Artikel bei oder melden Sie uns Fehler.

Der Arbeitskollege gegenüber ist 37 Jahre alt. Forscher der Universität von Cambridge halten ihn allerdings für eine 24-jährige Frau. Und ähnlich der Kollege im Büro gleich nebenan, 57, ruhig und hilfsbereit. In Cambridge figuriert er als 27-jährige, impulsive, nicht besonders teamfähige Frau. Das jedenfalls sind die Resultate, die ein Algorithmus des psychometrischen Zentrums der englischen Elite-Uni ausgegeben hat: Er generiert aus den Twitternachrichten und den ­Likes eines Menschen auf Facebook ein Persönlichkeitsprofil.

Man könnte nun sagen, die Forscher einer der renommiertesten Universitäten der Welt hätten halt versagt und einen schlechten Algorithmus programmiert. Doch wie kürzlich Sue Halpern in der «New York Review of Books» beschrieb, sind die Ergebnisse bei Facebook selbst nicht besser. Aus den Daten, die der Konzern dazu verwendet, seinen Usern massgeschneiderte Werbung auf den Bildschirm zu schicken, geht hervor: Die liberale Journalistin interessiere sich für Landwirtschaft, die Republikanische Partei oder für Dinosaurier. Wahr ist: Halpern hatte das Profil der Boxerin Claressa Shields gelikt. Die wird auch «T-Rex» genannt.

Die Absurdität dieser Resultate steht in einiger Diskrepanz zu den Aussagen der Datenbranche. Deren Geschäftsmodell ist es ja, Werbeanzeigen möglichst zielgenau, also ohne Streuungsverlust ans Publikum zu vermitteln. Auch die Universität von Cambridge – die Sue Halpern übrigens für einen schwulen Mann hält – verkauft einen solchen Service: die «sofortige psychologische Bewertung Ihrer User, basierend auf deren Verhalten im Internet». Nun, es gibt auch Beispiele, die solche Werbeslogans einzulösen scheinen; das berühmteste ist jene amerikanische Jugendliche, die 2012 ihre Schwangerschaft vor den Eltern so lange geheimhalten konnte, bis sie Gutscheine für Babyartikel zugeschickt erhielt. Ihre Einkäufe – etwa Magnesiumtabletten oder unparfümierte Körper­lotion – hatten sie verraten.

Ich und mein Profil

Algorithmen arbeiten also erstaunlich präzis und erstaunlich dilettantisch. Das wirft die Frage auf, was uns mehr beunruhigen sollte: dass uns die Datenkonzerne, wie oft behauptet wird, schon sehr viel besser kennen, als uns das geheuer sein kann? Oder doch, wie falsch unsere Profile sind, als die wir im Netz gehandelt werden? Immerhin sind unsere Onlinedaten ja das, was von uns zugänglich ist für die überwiegende Mehrheit der Menschen und Geschäftemacher da draussen. Und: Was ist, wenn wir mit unseren Daten nicht übereinstimmen? Sind wir dann noch wir selbst, oder sind wir dann unser Profil?

Die Frage ist weniger abwegig, als sie klingt. Denn das, was die Daten aus uns machen, bestimmt zunehmend unser Leben. Die Musik, die Amazon oder Spotify empfehlen, ist ein harmloses Beispiel dafür (das zeigt, wie plump diese Algorithmen oft sind). Heikler wird es, wenn (plumpe oder auch raffinierte) statistische Abgleiche unsere Kreditwürdigkeit mitbestimmen, die Chancen auf dem Job- oder Heiratsmarkt oder die Höhe der Versicherungspolice; kurz: die wirtschaftliche und soziale Bonität einer Person. «Ein Algorithmus mischt uns in eine statistische Gruppe, deren Ver­halten anscheinend dem unserigen gleicht», schreibt die US-Datenwissenschaftlerin Cathy O’Neil: «Es sieht aus wie Analyse, ist aber ein Gewirr von Annahmen und Annäherungen.»

Im Buch «Weapons of Math Destruction» beschreibt O’Neil, wie Algorithmen in den USA eingesetzt werden, um Jobbewerber zu bewerten, Lehrer, Kreditanträge oder das Entlassungsgesuch eines Sträflings. Sie verschweigt nicht, wie nützlich solche Software sein kann; etwa, um die Polizei dort patrouillieren zu lassen, wo sie am ehesten gebraucht wird, oder um untaugliche Bewerbungsdossiers effizient auszusortieren. Aber sie beschreibt auch die Kollateralschäden, die diese «Massenverrechnungswaffen» anrichten. So porträtiert sie eine Lehrerin, die von ihrer Schule trotz bester persönlicher Feedbacks entlassen wurde; einzig, weil ihr digitaler «Score» überraschend schlecht war.

Solche Geschichten könnten viele Bücher füllen. Denn wo Menschen aufgrund ihrer Daten beurteilt werden, ergeben sie sich so zwangsläufig wie Streuwerte in einer Statistik. Eine gute Zahlungsmoral kann, muss aber nicht auf eine gute Arbeitsmoral hinweisen. Eine lange Strafakte kann, muss aber nicht die Wahrscheinlichkeit erhöhen, dass ein entlassener Häftling rückfällig wird. Ein Mensch, der täglich 15 000 Schritte geht, kann, muss aber nicht ein lohnender Versicherungskunde sein. Algorithmen rechnen mit Standards und Wahrscheinlichkeiten und oft auch schlicht mit Vorurteilen. Das heisst, sie können und werden sich irren.

Der Internetpionier und Buchautor Jaron Lanier hat die Funktion, aber auch die Dysfunktionalität eines Algorithmus in einem bestechenden Bild erklärt: «Wenn Sie die Fingerspitze heben und durch die Luft bewegen, und wenn nun ein Algorithmus voraussagt, wo sich Ihr Finger im nächsten Augenblick befinden wird: Dann wird er wahrscheinlich für kurze Zeit recht behalten. Das ist so, weil Statistik ein gültiger Zweig der Mathematik ist. Aber der Finger setzt seine Bewegung nicht für immer fort, denn irgendwann ist er am Ende der Spannweite des Arms, oder er trifft auf ein Hindernis. Es gibt eine statistische Vorhersehbarkeit, aber sie gilt nur begrenzt, und ihre Beschränkungen lassen sich nicht universell vorhersagen.»

Algorithmen sind also fehlerhaft. Weil ihnen falsche Annahmen einprogrammiert sind, aber auch, weil ihre Vorhersagekraft ganz grundsätzlich limitiert ist. Mit dem zunehmenden Einsatz künstlicher Intelligenzen zeigt sich ein drittes Problem: Die Daten, mit denen sie rechnen, sind verseucht. Falls die Hoffnung war, dass selbst lernende, also neutrale Intelligenzen unbefleckt von Rassismus oder Sexismus arbeiten, dann ist sie schon gestorben: etwa am ersten Schönheitswettbewerb der Geschichte, der kürzlich durch einen Roboter entschieden wurde. Der hatte selbstständig gelernt, was «schön» ist.

Künstlich rassistisch

Das Ergebnis des Wettbewerbs, an dem sich knapp 6000 Personen aus über 100 Ländern mit Fotos beteiligt hatten: In ­allen Alterskategorien gewannen bei den Männern je ein Asiate und Latino sowie 19 Weisse. Bei den Frauen waren es 15 Weisse, fünf Asiatinnen, zwei Latinas und eine Schwarze. Das Resultat war sehr viel weniger gemischt als das Teilnehmerfeld, und damit so klar wie peinlich: Die künstliche Intelligenz findet dunkle Haut nicht schön. Indem sie mit menschgemachten Daten übte, lernte sie auch menschgemachte Vorurteile.

Ähnliche Fälle werden immer wieder publik: Selbstlernende Rechner erkennen Schwarze schon mal als «Gorillas» und machen sich auf Twitter durch Nazi­symbole unmöglich. Algorithmen liefern Männern die höher dotierten Job­angebote als Frauen; und bei Suchanfragen nach Namen, die «schwarz» klingen, schicken sie in den USA regelmässig die Annonce einer Firma mit, die Sicherheitschecks verkauft.

Dass sie die Verhältnisse, die sie angeblich nur berechnen, in Wahrheit auch zementieren und sogar verstärken: Das ist Cathy O’Neils zentrale These über die «Massenverrechnungswaffen». Sie beschreibt das Problem in ihrem Buch über mehrere Kapitel hinweg am Beispiel der Sicherheitspolitik. So ermöglichen es Softwares, die Polizei­patrouillen in jene Quartiere zu schicken, für welche die Daten eine hohe Wahrscheinlichkeit schwerer Verbrechen voraussagen. Das ist sinnvoll, weil damit die Chance steigt, Raub- oder Mordtaten rechtzeitig zu verhindern oder, wenigstens, die Täter zu fassen.

Der Kiffer und die Polizei

Das Problem zeigt sich aber immer dann, wenn in diesem Quartier gerade kein schweres Verbrechen geschieht. Die Polizei wird dann nicht untätig bleiben, sondern harmlosere Täter anhalten: Diebe, Hehler oder Kleindealer. Weil in anderen Quartieren solche Vergehen aber seltener oder gar nicht geahndet werden, ergibt sich eine verzerrte Kriminalstatistik; und die liefert wiederum die Basis für weitere Polizeimassnahmen – aber auch, wie O’Neil zeigt, für das Justizsystem.

Denn beim Entscheid, ob ein Häftling entlassen werden kann, spielen Annahmen darüber eine grosse Rolle, ob er rückfällig werden wird. Bei der Berechnung dieser Wahrscheinlichkeit berücksichtigen Algorithmen auch das Alter, in dem eine Person zum ersten Mal mit der Polizei zu tun hatte. Wer nun in einem Quartier mit häufigen Patrouillen kifft, dürfte sehr viel früher angehalten werden als ein Kiffer in einer verschlafenen Wohnstrasse. Wie Cathy O’Neil zeigt, kreieren statistische Modelle ständig ­solche Zirkelschlüsse. Sie erzeugen die Zustände zwar nicht, die sie messen, aber sie verstärken ihre Wahrnehmung: Sie machen ein Quartier krimineller, als es im Vergleich ist. «Wir werden nicht daran gemessen, was wir tun», schreibt die Datenwissenschaftlerin, «sondern daran, wer wir sind.»

Nun ist es nicht neu, dass Diskriminierung in der Polizeiarbeit genauso vorkommt wie auf dem Job- oder Kreditmarkt. Neu sind die Dimension und Wirkung breit und systematisch angewandter Rechenmodelle. Und ebenfalls neu ist, dass es keine Akteure und damit auch keine Verantwortung gibt. Sie ist delegiert an die scheinbar neutrale Statistik. Algorithmen sind opak. Sie begründen nicht, was sie tun, und sie beantworten keine Anfragen oder Anträge. Sie sind zwar mächtig; aber sie tun nicht mehr, womit sich Macht in demokratischen Gesellschaften legitimiert: Sie legen keine Rechenschaft ab. «Code is Law»: Davor, dass der Code der Rechner zum neuen Gesetz wird, hat schon 2000 der amerikanische Unternehmensrechtler Lawrence Lessig in seinem berühmt gewordenen Aufsatz gewarnt.

Heute schreitet die algorithmische Regulierung voran und führt, wie Jaron Lanier bemerkt hat, die Menschen ironischerweise in deregulierte, also prekäre Verhältnisse – etwa in die Sharing Economy, die er mit einer «Slumwirtschaft» vergleicht. Was nebst einer verhärteten ökonomischen Realität aber auch bleibt, ist ein ernsthaftes philosophisches Problem. Denn wenn die mit Big Data gefütterten Algorithmen die Macht haben, ihre eigenen Voraussagen auch selbst zu erfüllen: Was bedeutet das für den Menschen, der dem Rechner ja nur als Datenkombination bekannt ist? Muss er sich allmählich in sein Profil verwandeln, um mit der Maschine in eine Erfolg versprechende Arbeitsbeziehung zu treten?

«Unser Leben hängt immer mehr von der Fähigkeit ab, uns den Maschinen verständlich zu machen», schreibt Cathy O’Neil. Wie die Forscher in Cambridge mit ihrem Algorithmus beweisen, sind wir noch nicht besonders gut darin.

Erstellt: 25.05.2017, 23:25 Uhr

Artikel zum Thema

Welche Brüste auf Facebook erlaubt sind

Wieso Nacktheit von Facebook teils toleriert und teils zensiert wird. Die geleakten internen Schulungsunterlagen von Facebook könnten kaum widersprüchlicher sein. Mehr...

Auf Facebook sind falsche Freunde aktiv

Betrüger nutzen die Social-Media-Plattform, um Geld abzuzocken. Bei der Zürcher Polizei häufen sich die Anzeigen. Mehr...

Die Redaktion auf Twitter

Stets informiert und aktuell. Folgen Sie uns auf dem Kurznachrichtendienst.

Kommentare

Die Welt in Bildern

Herbstlich gefärbte Weinberge: Winzer arbeiten in Weinstadt, im deutschen Baden-Württemberg. (17. Oktober 2019)
(Bild: Christoph Schmidt/DPA) Mehr...