«Roboter werden Menschen töten»

Der Ethiker Ronald C. Arkin plädiert dafür, in Kriegen intelligente Maschinen einzusetzen. Weil er glaubt, dass diese die Kriegsführung menschlicher machen könnten.

«Ich liebe den Film-Terminator, aber ich will niemals einen bauen», sagt Ronald C. Arkin. Foto: Raisa Durandi

«Ich liebe den Film-Terminator, aber ich will niemals einen bauen», sagt Ronald C. Arkin. Foto: Raisa Durandi

Feedback

Tragen Sie mit Hinweisen zu diesem Artikel bei oder melden Sie uns Fehler.

Sie plädieren dafür, Kampfroboter im Krieg zuzulassen. Wer wäre in diesem Fall für das Töten verantwortlich?
Nie der Roboter, nie! Verantwortung setzt freien Willen voraus, eine eigene Entscheidungskompetenz. Und Roboter, oder wie wir sagen Lethal Autonomous Weapon Systems (LAWS), sind im Prinzip einfach erweiterte Präzisionswaffen, die Entscheidungen trifft immer der Mensch. Nehmen Sie eine intelligente Bombe, die auf einer Schule landet, es sterben Zivilisten. Wer sagt: Die Bombe ist schuld? Niemand.

Und was ist, wenn der Roboter ein selbstlernendes System ist, also über künstliche Intelligenz (KI) verfügt?
Das ist eine ganz andere Sache. Bei KI-Systemen würde ich ein Verbot unterstützen, denn diese können theoretisch dazu befähigt werden, ihren Zielraum zu erweitern und tödliche Entscheidungen zu treffen. Aber das darf meiner Ansicht nach nie geschehen. Er kann die Information an den Menschen weitergeben, und der kann dann entscheiden und das Ziel ändern. Aber nicht der Roboter.

Kann man Siri in meinem iPhone auch als Roboter bezeichnen?
Das wäre dann ein autonomer Agent, ein sogenannter Softbot. Auch diese kann man so programmieren, dass sie sich destruktiv verhalten, wie im Film «The Transcendent». Aber das ist Science-Fiction, mit Betonung auf Fiction. Sie sagen, Hollywoodfilme schadeten der Diskussion um Roboterethik. Warum? Wenn man zum Beispiel über autonome Roboter spricht, denken alle sofort an den Terminator. Deshalb sage ich Journalisten immer, sie sollen nicht das Terminator-Bild verwenden.

Genau das hätte ich vorgehabt. Sagen Sie mir, warum denn nicht.
Persönlich halte ich «The Terminator» auch für einen wirklich grossartigen Horrorfilm. Aber diese Hollywoodbilder ängstigen die Leute. Jeder wird den Artikel unter diesem Aspekt lesen und sich fragen: Ist das möglich? Werden wir diese Maschinen tatsächlich bauen? Und diese Angst verändert die Diskussion. Das ist hinsichtlich der Ethik nicht zielführend. Man kann nicht von einem Standpunkt der Angst über Ethik diskutieren. Man braucht dazu einen rationalen Zugang. Es geht um Logik und Vernunft.

Sprechen wir von Ethik. Sie wollen Killerrobotern Moral beibringen. Wie designt man ethische Grundsätze für Roboter?
Die Grundlage ist natürlich menschliche Moral. Seit Tausenden Jahren denkt der Mensch über die Ethik der Kriegsführung nach. Kriegsethik gehört zu den am deutlichsten ausformulierten ethischen Codes überhaupt. Die Genfer Konventionen legen genau fest, welche kriegerischen Handlungen erlaubt sind und welche nicht. In anderen Anwendungsbereichen ist das schwieriger. Wenn man zum Beispiel einem Babysitterroboter Ethik einbauen will, dann viel Glück, denn dort sind die ethischen Grundlagen alles andere als klar.

Aber kriegerische Kampfhandlungen führen ja zu hochkomplexen Situationen. Ist es machbar, mögliche Reaktionen auf alle denkbaren Situation zu programmieren?
Einem Roboter eine umfassende moralische Urteilskraft einzubauen, wird vielleicht niemals möglich sein. Aber wir arbeiten mit der sogenannten begrenzten Moralität. Das heisst, wir gehen von sehr eng definierten Operationen aus. Wir sagen zum Beispiel, der Roboter soll ein Gebäude klären – und unterwegs keine Zivilisten erschiessen. Für jede Situation kommt ein relativ schmales Subset der Genfer Konventionen zur Anwendung, das wir in verpflichtende Regeln, Verbote und Genehmigungen übersetzen.

«Alle denken, dass wir Roboter designen, die selber Ziele finden und angreifen, aber eigentlich ist das Gegenteil der Fall: Wir gehen aus von Robotern, die jemand anders dazu gebaut hat, um Ziele anzugreifen.»

Allerdings gibt es im Krieg ja immer sich widersprechende Verpflichtungen. Was, wenn ein feindlicher Kämpfer in eine Schule flüchtet?
Man kann auch ein komplementäres Set von Verpflichtungen einprogrammieren, das ist sogar ein wesentlicher Teil unserer Arbeit. Alle denken, dass wir Roboter designen, die selber Ziele finden und angreifen, aber eigentlich ist das Gegenteil der Fall: Wir gehen aus von Robotern, die jemand anders dazu gebaut hat, um Ziele anzugreifen. Wir pflanzen ihnen ethische Regeln ein. Zum Beispiel: Wenn der Angriff die Einsatzregeln der Streitkräfte verletzt, wenn zum Beispiel zu viele Zivilisten getötet würden, kannst du das Ziel nicht angreifen.

Und wie kann der Roboter unterscheiden zwischen Zivilisten und Kämpfern?
Das ist dann ein Wahrnehmungsproblem, das auf einer höheren Ebene hineinspielt. Wenn der Roboter in eine Situation kommt, in der das System meldet: «Bereit zum Angriff», kommt ein weiteres System ins Spiel, das wir als ethischen Gouverneur bezeichnen. Der evaluiert die spezifische Situation und gibt das Okay zum Schiessen.

Dieses eingebaute Gewissen ist dann auch eine Software?
Ja. Wenn eine der ethischen Verpflichtungen verletzt ist, sagt der ethische Gouverneur: Nicht schiessen!

Wie gross ist das Interesse an künstlich intelligenten Robotern für militärische Zwecke?
Es wird eifrig an KI-Systemen geforscht, für viele Einsatzgebiete, vermutlich auch für militärische. Aber Machinelearning ist eine sehr machtvolle Technologie und mit grossen Risiken verbunden. Man sollte extrem vorsichtig sein – auch wenn sich viele dessen nicht bewusst sein.

Wie können sich Experten der Risiken nicht bewusst sein, wenn sich die Science-Fiction-Literatur seit Jahren Schreckensszenarien ausmalt?
Solche Filme inspirieren Wissenschaftler natürlich auch. Aber nicht alles, was jemand sich vorstellen kann, wird auch Realität. Ich liebe zum Beispiel den Film-Terminator – aber ich möchte niemals einen bauen. Und als Kind habe ich Godzilla geliebt. In diesem Film geht es ja um Ängste wegen der Nuklearenergie. Sehen Sie irgendwelche Dinosaurier herumrennen, die Leute niedermähen? Nein!

Warum soll jemand, der einen Killerroboter nutzen will, sich für ethische Regeln interessieren?
Weil es den Gesetzen der Genfer Konventionen entspricht, die 1949 vereinbart wurden und für alle gelten. Das ist ein hochinteressantes Regelwerk, in dem sogar das Kaliber der Kugeln für die ethische Kriegsführung festgelegt ist. Da haben Ärzte statistische Messgrössen erstellt, um die Heilungsrate verschiedener Kugeln zu definieren, mit der Idee, dass sich ein Krieger von einer Schussverletzung erholen können muss. Dann gibt es das Prinzip der Verhältnismässigkeit, das das Zerstörungspotenzial der Waffen bezüglich des Ziels festlegt. Oder eben, dass Personen, die nicht direkt an den Feindseligkeiten teilnehmen, mit Menschlichkeit behandelt werden müssen. Das ist für uns die härteste Knacknuss.

«Diese Systeme werden Zivilisten töten, egal, wie viel Intelligenz wir ihnen einbauen. Sie werden Fehler machen, aber das Ziel ist, sie besser performen zu lassen als menschliche Krieger.»

Weil ein Roboter das eben nicht unterscheiden kann und ihm das «menschliche Ermessen» fehlt?
Genau. Aber man muss auch verstehen: Diese Systeme werden Zivilisten töten, egal, wie viel Intelligenz wir ihnen einbauen. Sie werden Fehler machen, aber das Ziel ist, sie besser performen zu lassen als menschliche Krieger. Menschliches Verhalten auf dem Schlachtfeld zu studieren, ist sehr deprimierend. Menschen sind emotional und machen sehr viele Fehler. Und es geht hier nicht einmal um Gräueltaten, sondern um Nachlässigkeiten, die Tausenden Zivilisten das Leben kosten. Im Konflikt im Jemen wurden 10'000 Zivilisten getötet, das ist für mich unfassbar. Und wir haben einen moralischen Imperativ, es besser zu machen.

Sie glauben also, Killerroboter könnten die Kriegsführung menschlicher machen?
Es tönt vielleicht seltsam, aber das ist meine Motivation. Sagen Sie mir: Warum hält man selbstfahrende Autos für eine Verbesserung?

Weil einem eine stupide Arbeit abgenommen wird?
Das ist nur ein Aspekt. Der andere ist: Menschen sind schreckliche Fahrer. Sie betrinken sich, sie werden wütend, sind zerstreut. Sie zu ersetzen, könnte also Leben retten. Und in gewisser Weise könnte das auch bei Kampfrobotern zutreffen. Das ist meine Forscherhypothese, die noch zu beweisen wäre.

Glauben Sie daran, dass man das regulieren kann?
Vor zwölf Jahren hat dieses Feld noch niemanden interessiert, und jetzt wollen plötzlich alle mitreden. Das ist grossartig, nur gibt es so viele verschiedene Stimmen, dass ein Konsens schwierig zu finden ist. Aber das braucht es, wenn wir Gesetze oder Regulierungen wollen. Das EU-Parlament hat letzte Woche ein Mandat beschlossen, dass jeder Roboter einen Aus-Knopf haben muss und dass man immer unterscheiden können muss zwischen Mensch und Roboter. Die EU ist also sehr progressiv, vielleicht ein bisschen zu progressiv nach meinem Geschmack, weil man diese Dinge wirklich sehr gut durchdenken muss. Zum Beispiel auch die Frage, welche Art Gesetze dazu am besten geeignet sind.

Wie weit ist man mit der Entwicklung dieser Kampfroboter oder eben LAWS?
Gute Frage. Historisch gesehen braucht ein grösserer Forschungseffort vom Labor bis zur Entwicklungsreife zehn bis zwanzig Jahre. Es ist ein sehr heikles Thema, und es braucht noch sehr viel Forschung und zahlreiche Testläufe, bis diese Systeme sicher sind. Deshalb sind auch die Genfer Konventionen von unschätzbarem Wert. Viele NGOs, Human Rights Watch und das internationale Komitee zur Waffenkontrolle und künstlichen Intelligenz, möchten ein komplettes Verbot von LAWS-Systemen. Diese Diskussion ist wirklich, wirklich wichtig, und Politiker, Pazifisten, Sozialwissenschaftler, Bürger, Militärs, alle müssen sich an der Diskussion beteiligen. Aber die Frage ist, wie man LAWS definiert: Was heisst autonom? Was heisst menschliche Kontrolle? Heisst es, dass ein Mensch jedes Mal den Abzug zieht? Heisst das, den Befehl für eine Mission zu erteilen? Ich ermuntere humanitäre Organisationen gern dazu, nicht einfach nur Verbote zu fordern, sondern sich genau zu überlegen, welche spezifischen Systeme man verbieten will. Wollen Sie den Terminator verbieten? Ich auch! Aber ich glaube auch, dass gewisse Systeme zu einer Verbesserung führen könnten.

Weil Kampfroboter eben weniger ­Kollateralschäden verursachen – oder weil sie ohnehin entwickelt werden und man sie so wenigstens regulieren kann?
Meine Hoffnung ist tatsächlich, das Leben von Zivilisten zu schützen. Aber Sie haben recht, die Dynamik ist kaum zu überschauen. Es gibt inzwischen auch «private Akteure» wie den IS, der bereits unbemannte Drohnen in Mosul einsetzt. Das Ziel bei all dem muss sein, dass der Mensch auf dem Schlachtfeld immer präsent bleibt, um ein Verständnis dafür zu haben, wie schrecklich Krieg ­tatsächlich ist.

Man kann nicht unbedingt behaupten, dass ein Soldat, der eine Drohne per Joystick ­bedient, auf dem Schlachtfeld präsent ist. Emotional ist es sicher einfacher, so zu töten.
Das Phänomen heisst Remote Killing, und es lohnt sich, das vertieft zu betrachten. Früher haben sich Menschen direkt ins Auge gesehen, wenn sie einander töteten. Irgendwann begann jemand, mit Steinen zu werfen, und ein ganz Gescheiter bastelte ­sogar eine Steinschleuder. Irgendwann kam das Schiesspulver, dann der Raketenwerfer. Auf Distanz zu töten, ist also nichts Neues. Human Rights Watch sagt etwa, man solle Präzisionsbomben benutzen, wenn man sie hat, weil dumme Bomben viel grössere Kollateralschäden verursachen. Für mich sind Kampfroboter die nächste Klasse von Präzisionsmunition. (Tages-Anzeiger)

Erstellt: 20.01.2017, 19:42 Uhr

Ronald C. Arkin

Roboter-Ethiker

Der gelernte Chemiker arbeitet seit 35 Jahren im Feld der Robotik und half vor rund 10 Jahren mit, die Disziplin Robo-Ethics zu begründen. Der Amerikaner lehrt am Georgia Tech College of Computing in Atlanta und ist Vater von vier Kindern.

Artikel zum Thema

Stephen Hawking will intelligente Kampfroboter verbieten

Weil sie leicht in die Hände von Terroristen fallen könnten, fordern Robotik-Forscher ein Verbot von autonomen Waffen. Von Menschen gesteuerte Drohnen sollen aber erlaubt bleiben. Mehr...

Wer zähmt die künstliche Intelligenz?

Die US-Technologiebranche befürchtet, die Menschheit könnte der künstlichen Intelligenz misstrauen. Eine Partnerschaft soll dem entgegenwirken. Mehr...

Roboy benimmt sich manchmal kindisch

Bildstrecke Die Uni Zürich gehört bei der künstlichen Intelligenz zu den weltweit führenden Forschungsstätten. Nun stellte Professor Rolf Pfeifer einen Roboter mit einem Bewegungsapparat ähnlich dem des Menschen vor. Mehr...

Die Redaktion auf Twitter

Stets informiert und aktuell. Folgen Sie uns auf dem Kurznachrichtendienst.

Abo

Digital Abos

Tages-Anzeiger unbeschränkt lesen:
Im 1. Monat nur CHF 1.-

Blogs

Von Kopf bis Fuss Wie viel Make-up
braucht es?

Blog Mag Bitte zurückbringen

Service

Für Selbstständige und KMU

Tragen Sie Ihre Firma im neuen Marktplatz des Tages-Anzeigers ein.

Die Welt in Bildern

Masha Dimitri hängt in den Seilen: Während einer Benefizveranstaltung für Syrien im Theatro Dimitri in Verscio/TI. (18. März 2017)
(Bild: Gabriele Putzu (TI-Press, Keystone)) Mehr...