«Heute entscheiden Algorithmen, ob Kunden kreditwürdig sind»

Maschinen dringen immer tiefer in unseren Alltag ein. Dabei urteilen sie jedoch nicht neutral, warnt Datenspezialist Marcel Blattner.

Inzwischen sagt nicht mehr immer der Mensch dem Computer, was dieser zu tun hat: Ein Mann schreibt Computercodes. Foto: Getty Images

Inzwischen sagt nicht mehr immer der Mensch dem Computer, was dieser zu tun hat: Ein Mann schreibt Computercodes. Foto: Getty Images

Feedback

Tragen Sie mit Hinweisen zu diesem Artikel bei oder melden Sie uns Fehler.

Herr Blattner, Sie sind ein sogenannter Data Scientist. Was macht ein Daten-Wissenschafter?
Wir versuchen in riesigen Datenmengen Zusammenhänge zu finden und diese dann sinnvoll weiterzuverwenden.

Zum Beispiel?
Bei Tamedia, welche auch diese Internetseite betreibt, suchen wir etwa nach Mustern, wie Leser online Zeitung lesen. Dann versuchen wir die Muster so einzusetzen, dass sie dem Leser wieder zugute kommen. Wir schlagen ihm Artikel vor, von denen wir aufgrund seiner früheren Lesegewohnheiten annehmen, dass sie ihn besonders interessieren könnten.

Aufgrund dieser Muster kann man auch gezielt Werbung schalten und damit Geld verdienen.
Letztlich geht es immer darum, Geld zu verdienen. Doch wir Daten-Wissenschafter helfen, eine Win-win-Situation zu schaffen. Für den Leser ist es ein Gewinn, wenn wir ihm interessante Artikel vorschlagen und die Werbung auf seine Bedürfnisse zugeschnitten ist.

Um solche Muster zu finden, werden Algorithmen eingesetzt. Was genau ist ein Algorithmus?
Ein Algorithmus ist eine Berechnungsvorschrift. Er gibt eine definierte Abfolge von Regeln vor. Um eine bestimmte Aufgabe zu lösen, arbeitet das Computerprogramm dann diese Regeln ab.

«Das Computerprogramm bringt sich selbst bei, welche Daten es berücksichtigen muss.»

Wie müssen wir uns das konkret vorstellen?
Nehmen wir an, Sie möchten wissen, wie fit jemand ist. Früher sagte man: Wenn jemand 10 Kilometer joggt, anschliessend 1 Kilometer schwimmt und 20 Kilometer auf dem Velo fährt, hat er auf einer Fitnessskala von 1 bis 10 vielleicht eine 9. Der Mensch definierte die Regeln, wie man die Fitness berechnet. Diese Regeln wurden in einem Computerprogramm festgeschrieben, das dann die individuellen Fitnesswerte fix nach diesen Regeln berechnete. Man sprach deshalb von einem regelbasierten Algorithmus. Es war immer nachvollziehbar, wie das Programm zu seinen Ergebnissen kam.

Und heute ist das anders?
Ja, die heutigen, modernen Algorithmen suchen selbständig in einer riesigen Menge von medizinischen und sportlichen Daten nach Mustern und berechnen daraus die individuelle Fitness. Wie sie das machen, ist nicht mehr vom Menschen vorgegeben. Das Computerprogramm bringt sich selbst bei, welche Daten es berücksichtigen muss und wie es die Fitness berechnet.

Wenn ich auf Youtube ein Filmchen mit Katzen schaue, werden mir anschliessend unzählige weitere Katzenfilme vorgeschlagen. Stecken dahinter auch selbstlernende Programme, die auf Algorithmen basieren?
Genau. Man sagt dem auch «maschinelles Lernen». Eine Maschine, beziehungsweise ein Computerprogramm, registriert, welche Filme Sie sich auf Youtube ansehen. Die Maschine lernt selbständig, dass Sie oft Katzenfilme anschauen, und schlägt Ihnen deshalb ähnliche Filme vor.

Wo findet man solche Algorithmen?
Überall. Wir brauchen sie jeden Tag. Wenn wir auf Google etwas suchen, erstellt ein Algorithmus die Trefferliste, beim Navi findet ein Algorithmus die schnellste Verbindung zwischen Olten und Aarau.

Algorithmen erleichtern uns also den Alltag.
Im Grunde genommen schon. Ich finde es super, wenn mir eine App hilft, die nächste Tram- oder Zugverbindung zu finden. Oder: Wenn man früher Informationen über den Ersten Weltkrieg suchte, ging man in die Bibliothek und schaute in Büchern nach. Das war sehr zeitaufwendig. Heute sitze ich am Laptop, gebe ein paar Stichwörter ein und bekomme meistens sinnvolle Informationen zu einem Thema. Man muss aber auch zugeben, dass wir mit all diesen elektronischen Gadgets und Apps manchmal viel Zeit vertrödeln.

Ein Algorithmus erkennt von alleine, welche Filme sie schauen möchte: Eine Frau surft im Internet. Foto: Getty Images

Algorithmen kommen auch in ganz anderen Gebieten zum Einsatz, zum Beispiel in der Medizin.
Es gibt heute Systeme, die etwa bei der Diagnose hilfreich sind. Zum Beispiel kann eine Maschine aufgrund von MRI-Bildern ein Gewebe nach verdächtigen Zellen absuchen...

…und dem Arzt helfen, Krebs früher zu erkennen?
Möglicherweise ja. Die Maschine kann viel mehr Informationen verarbeiten als ein einzelner Arzt. Ein Arzt sieht in seinem Leben vielleicht ein paar hundert Fälle einer bestimmten Krebsform. Eine Maschine kann Millionen von Fällen miteinander vergleichen, um zu beurteilen, ob ein Gewebe krankhaft ist oder nicht. Und so helfen, die optimale Behandlung oder Operation zu finden. Das ist eine positive Entwicklung.

Die aber auch Gefahren birgt.
Ausschlaggebend ist, dass nicht die Maschine die endgültige Entscheidung über eine Operation trifft, sondern der Mensch.

Ist das heute nicht mehr der Fall?
Ich gebe Ihnen ein Beispiel: Wenn Sie bei einer Bank eine Hypothek beantragen, entscheidet heute oft im Hintergrund ein System mit, ob Sie kreditwürdig sind. Als Kunde erfahren Sie das aber nicht. Sie haben auch keine Ahnung, nach welchen Kriterien der Algorithmus entscheidet.

«Jeder Algorithmus hat eine bestimmte Voreingenommenheit. Er ist nicht neutral.»

Das kann man auch positiv sehen. Wenn man früher dem Bankberater unsympathisch war, bekam man keine Hypothek. Heute entscheidet ein neutraler Algorithmus.
Leider ist das nicht so.

Warum nicht?
Jeder Algorithmus hat einen, wie wir sagen, Bias, eine bestimmte Voreingenommenheit. Er ist nicht neutral. Wenn wir bei der Hypothek bleiben: Der Algorithmus hat zum Beispiel gelernt, dass Kunden mit der Postleitzahl 8008 ihre Rechnungen besser begleichen als solche mit der Postleitzahl 8057. Statistisch mag das stimmen, für Sie persönlich kann das aber ein ungerechtes Ärgernis werden.

Spiegelt der Algorithmus die Vorurteile des Programmierers, der ihn erstellt hat?
Nein, das Problem liegt primär nicht beim Programmierer, sondern bei den Daten, anhand deren der Algorithmus lernt, wie er zu seinen Entscheiden kommt.

Das müssen Sie erklären.
Es gibt Schweizer Firmen, die bei der Suche nach neuen Mitarbeitern eine Software einsetzen, bei der ein Algorithmus aus allen Bewerbungen die besten herausfiltert. Der Algorithmus weiss aufgrund früherer Bewerbungen, dass am ehesten Kandidaten mit bestimmten Merkmalen angestellt wurden, also zum Beispiel 35-jährige, verheiratete Männer. Er geht also davon aus, dass er auch die neuen Kandidaten nach diesen Merkmalen aussortieren muss.

Und wo liegt das Problem?
Wenn der Personalchef früher systematisch keine Frauen und keine 50-Jährigen einstellte, hat der Algorithmus aufgrund dieser alten Daten diskriminierende Regeln gelernt und setzt diese weiter um.

«Es gibt kein Gesetz, das bestimmt, dass Algorithmen überprüft oder offengelegt werden müssen.»

Kann man das nicht korrigieren?
Doch, man könnte dem Algorithmus in diesem Fall beibringen, dass er das Alter oder das Geschlecht nicht oder nur wenig gewichten darf. Aber in der Regel wird das nicht gemacht.

Weil es zu aufwendig ist?
Ja. Und es ist auch nicht vorgeschrieben. Es gibt kein Gesetz, das bestimmt, dass Algorithmen überprüft oder offengelegt werden müssen. Tech-Giganten wie Facebook oder Google sind mehr oder weniger vogelfrei, was sie machen oder welche Algorithmen sie entwickeln. Inzwischen mehren sich aber Stimmen, die eine Regulierung oder eine Art Zulassungsstelle für Algorithmen fordern.

In New York wurde kürzlich das erste Gesetz gegen «diskriminierende Algorithmen» in Kraft gesetzt.
Die Umsetzung solcher Gesetze ist extrem schwierig. Es gibt noch keine gescheiten Ansätze, wie man dieses Problem lösen kann. Umso wichtiger ist es, dass sich die Menschen, die User, bewusst werden, wie stark die Informationen, die sie bekommen und aufgrund deren sie entscheiden, von Maschinen beeinflusst sind.

«Der Einfluss von Technologien auf unsere Gesellschaft sollte unbedingt in der Schule thematisiert werden.»

Wo sollen die Menschen das lernen?
Der Einfluss von Technologien auf unsere Gesellschaft sollte unbedingt in der Schule thematisiert werden. Er gehört in ein Fach wie «Mensch und Umwelt». Es geht darum, bei den Leuten ein Bewusstsein dafür zu entwickeln, dass wir von solchen Maschinen umgeben sind. Und dass es ein Potenzial für Manipulationen gibt. Nicht, weil jemand etwas Böses will, sondern weil diese Maschinen meistens nicht neutral sind.

Sie haben kürzlich einen Artikel veröffentlicht mit dem Titel «Algorithmen gefährden die Demokratie». Wie meinen Sie das?
Der Titel spielt darauf an, dass verschiedene Polizeikorps in der Schweiz, etwa die Zürcher Kantonspolizei, eine Software einsetzen, die voraussagt, in welchem Gebiet der nächste Einbruch stattfindet oder ob eine Person demnächst eine Tat begehen wird.

Wie bitte?
Dieses System wurde ohne Ausschreibung mit öffentlichen Geldern gekauft. Und die Polizei gibt keinerlei Auskunft darüber, wie es funktioniert. Es stuft unter Umständen jemanden aufgrund seines Verhaltens in den sozialen Medien als potenziellen Täter ein und rät der Polizei, ihn zu überwachen – obwohl diese Person überhaupt nichts angestellt hat. Das untergräbt unser demokratisches Wertesystem, ohne dass sich die Öffentlichkeit dessen bewusst ist. Ein solches System müsste unbedingt für unabhängige Experten offen sein. Nur so kann überprüft werden, ob alles mit rechten Dingen zugeht.

«Ein Algorithmus entwickelt Regeln, die der Mensch schlicht und einfach nicht mehr versteht.»

Braucht es eine Ombudsstelle für Algorithmen?
Das wäre eine Möglichkeit. Wenn die Konsumenten Augen und Ohren offen halten würden, könnten sie auch mehr Druck auf die Tech-Giganten ausüben. Google oder Facebook haben zwar heute schon Gremien, die beurteilen, ob ein Algorithmus ethische Kriterien erfüllt. Aber das reicht nicht, um Transparenz zu schaffen.

Mittlerweile, sagen Experten, haben selbst die Programmierer den Überblick verloren, wie ihre Algorithmen funktionieren.
Das ist tatsächlich ein grosses Problem. Ich gebe Ihnen ein Beispiel: Ein Algorithmus erkennt, ob auf einem Foto ein Hund oder eine Katze abgebildet ist. Wenn ein Mensch dem Algorithmus die Regeln beibringen würde, nach welchen Kriterien er unterscheiden muss, würde er vielleicht sagen: Wenn das Objekt einen langen Schwanz und bestimmte Schnurrhaare hat, ist es eine Katze. Der Algorithmus bringt sich selbst aber ganz andere Kriterien bei. Er erstellt vielleicht eine Formel «Form der Augen mal Struktur des Fells minus die Ohren». Er entwickelt Regeln, die der Mensch schlicht und einfach nicht mehr versteht.

Wir Menschen sind also Zauberlehrlinge, die den Besen, den wir herbeigezaubert haben, nicht mehr loswerden?
Das sind wir. Und deshalb ist es unabdingbar, dass nie ein Algorithmus oder ein System selbständig eine Entscheidung treffen oder eine Handlung auslösen kann. Der Algorithmus kann helfen, etwas zu beurteilen, er kann Vorschläge machen. Aber entscheiden muss immer der Mensch.

Erstellt: 14.06.2018, 20:55 Uhr

Der Datenexperte


Marcel Blattner, 52, ist Chief Data Scientist des Medienunternehmens Tamedia, das auch diese Internetseite betreibt. Er machte eine KV-Lehre, holte die Matur nach und promovierte in Astrophysik.

Er hat verschiedene Artikel und Bücher über komplexe Datenanalysen veröffentlicht und leitet an der Hochschule für Wirtschaft Zürich (HWZ) einen Studiengang zu neuen Technologien. Blattner ist verheiratet, Vater zweier erwachsener Söhne und lebt in Zürich.

Artikel zum Thema

Algorithmen gefährden die Demokratie

Analyse Wenn man künstliche Intelligenz einsetzt, muss man sich ihrer Schwächen bewusst sein. Und vor allem: ihre Arbeitsweise immer transparent machen. Mehr...

Die Zahlenkünstlerin

Porträt Informatikerin Olga Sorkine-Hornung promovierte mit 25 Jahren und wurde mit 30 Professorin an der ETH Zürich. Ihre Algorithmen in 3-D-Modellierung gelten weltweit als die besten. Mehr...

Mit diesen Tricks fliegen Sie billiger

Hinter Flugpreisen stecken komplizierte Algorithmen. Doch mit ein paar Handgriffen können Passagiere aus Fleisch und Blut die Maschinen austricksen. Mehr...

Die Redaktion auf Twitter

Stets informiert und aktuell. Folgen Sie uns auf dem Kurznachrichtendienst.

Kommentare

Abo

Abo Digital - 26 CHF im Monat

Den Tages-Anzeiger unbeschränkt digital lesen, inkl. ePaper. Flexibel und jederzeit kündbar.
Jetzt abonnieren!

Die Welt in Bildern

Klimawand: Andres Petreselli bemalt in San Francisco eine Hausfassade mit einem Porträt von Greta Thunberg. (8. November 2019)
(Bild: Ben Margot) Mehr...