Quantensprung am Zürcher Disney Lab

Forscher an der ETH entwickeln Augen für virtuelle Schauspieler in bisher unerreichter Qualität.

Feedback

Tragen Sie mit Hinweisen zu diesem Artikel bei oder melden Sie uns Fehler.

Die Piratin Maz Kanata spielt in der «Star Wars»-Episode «Das Erwachen der Macht» nur eine Nebenrolle, aber für die Filmtechnik ist sie der grosse Star. Die schrumplige Figur mit den auffallenden dunklen Augen hinter den dicken Brillengläsern, die Anakin Skywalkers Lichtschwert in ihrem Schloss auf dem Planeten Takondana verwahrt, ist nämlich komplett computeranimiert. Das Speziellste jedoch sind ihre Augen, die mit einer neuen Software generiert wurden, die vom jungen Computergrafiker Pascal Bérard und seinem Team am Disney Research Lab Zürich entwickelt worden war.

«Das Auge ist das zentrale Merkmal eines Gesichts», sagt Bérard. Das ist zwar eine Binsenwahrheit, erstaunlich ist jedoch, dass die Rekonstruktion von Augen für Computerspiele oder eben für Filme bisher viel weniger gut gelang als der Rest des Gesichts. Während die Haut, die Haare der Brauen oder des Barts sowie Mund und Nase schon fast perfekt simuliert werden können, blieben die Augen bisher eher rudimentär.

Diese Augen! Die am Computer animierte Figur Maz Kanata aus «Star Wars VII: The Force Awakens». (Video: Youtube)

Visuelle Effekte sind aus zeitgenössischen Filmen heute nicht mehr wegzudenken. Fantasyfilme wie «Star Wars» leben davon, aber auch viele Superheldenstreifen nutzen Simulationen, um den Schauspieler in den unmöglichsten Szenen zu zeigen. Dafür wird die ganze Umwelt möglichst wahrheitsgetreu erfasst, im Computer digitalisiert und für eine Szene simuliert. Man nennt dies das Motion-Capture-Verfahren. In der «Capture and Effects»-Gruppe beim Disney Research Lab arbeitet ein halbes Dutzend Leute allein an der Digitalisierung und Rekonstruktion von Gesichtern.

Das Auge war dabei offensichtlich eine besondere Knacknuss. «Es sind die subtilen Details, die einer erfolgreichen Rekonstruktion bisher im Wege standen», sagt Pascal Bérard. Diese Details bestimmen die Individualität des Sehorgans. Es lebt nicht nur von den unterschiedlichen Augenfarben, die sich in der Iris zeigen, sondern auch von deren Textur, von der Mikrostruktur der feinen Äderchen im Augenweiss, der Sklera, und auch von der Art, wie sich eine Pupille bewegt. Selbst die Form des Auges ist komplex. Es ist keine perfekte Kugel, sondern aussen runder und gegen die Nase hin abgeflacht. Ein besonderes Problem bei den bisherigen Verfahren, die vor allem auf fototechnischen Methoden basierten, waren zudem die unberechenbaren Licht- und Spiegeleffekte der feuchten Hornhaut, welche die geometrische Rekonstruktion des Auges so schwierig machten.

Fenster zur Seele

Kommt hinzu, dass die Zuschauer bei der Wahrnehmung von Augen ganz unbewusst besonders kritisch sind. Der Mensch ist darauf trainiert, den Ausdruck der Augen zu erfassen und einzuordnen, nicht umsonst spricht man auch vom «Fenster zur Seele». Eine Rekonstruktion kann somit schnell ins «uncanny valley», das «unheimliche Tal», fallen. So nennt man im Bereich der Computersimulationen und Virtual Reality die Akzeptanzlücke von nicht ganz perfekten Nachahmungen. Deren Eigenart ist, dass offensichtliche Fehler eher akzeptiert werden als minimale Abweichungen von der Realität. «Unser Ziel kann nur die perfekte Kopie sein», sagt Pascal Bérard.

Diesem Ziel sind die Zürcher Disney-Forscher nun einen grossen Schritt nähergekommen. «Wir haben ein Basismodell, von dem aus wir immer ein realistisches Auge generieren können», sagt Bérard, der vom Magazin «Forbes» in die Liste der 30 wichtigsten Jungforscher Europas aufgenommen wurde. Das Team um Bérard hat das Problem in zwei Schritten gelöst. In einem ersten Projekt wurde eine «Stammbibliothek» von 30 verschiedenen Augen erstellt, die nun als eine Art Schablone dienen. Dazu haben sie Menschen mit möglichst unterschiedlichen Augen bezüglich Farbe, Form und Textur ins Labor geholt.

Die Forscher baten die Probanden dann auf eine spezielle, mit sechs Kameras und verschiedenen Lichtquellen ausgerüsteten Liege, auf der sich der Kopf fixieren liess. Dann wurden pro Auge 150 digitale Fotos aufgenommen. «So haben wir Form und Farbe der Augen erfasst», erklärt Bérard. Eine besondere Knacknuss – und mit ein Grund, wieso derart viele Aufnahmen gemacht werden mussten – war, die Bewegungen der Pupille zum Beispiel bei wechselnden Lichtverhältnissen aufzufangen. «Der Anteil der Bewegung an der Mimik wurde bisher unterschätzt», sagt Bérard. So machen gängige Rekonstruktionsverfahren die Pupille einfach linear grösser oder kleiner. In Tat und Wahrheit sind die Augenmuskelbewegungen viel komplexer und tragen wesentlich zum individuellen Ausdruck eines Menschen bei. Auch die Iris wird durch Bewegungen beeinflusst und verhält sich wie ein Teppich um die Pupille, der sich in Falten wirft, wenn die Pupille sich ausweitet und zusammenzieht.

Zuletzt hatten die Forscher einen riesigen Datensatz für die Iris und die Pupille, für die Hornhaut sowie für die Sklera. Für diese Bestandteile kreierten sie Rekonstruktionsalgorithmen, welche die jeweiligen Besonderheiten berücksichtigten. So haben sie zum Beispiel für die Sklera einen Algorithmus entwickelt, der das Wachstum der Äderchen simuliert. Über die Erscheinung und Dichte dieses Äderchen-Netzwerks können so physiologische Effekte wie das Erröten der Augen simuliert werden. Die Textur der Iris, so zeigte sich, hängt stark mit der Augenfarbe zusammen: Blaue Augen haben eine feingliedrigere Struktur als braune, die eher glatt sind; grüne Augen liegen irgendwo dazwischen. Die einzelnen Algorithmen wurden kombiniert, sodass nun hochaufgelöste dreidimensionale Augen mit der richtigen Geometrie und Textur modelliert werden konnten.

Ein Modell aus 30 Augen

Die grosse Herausforderung war dann, aus diesen Daten beliebige Augen zu rekonstruieren, ohne dass die Schauspieler stundenlang fotografiert werden müssen. «Die Idee war, diesen riesigen Datensatz von 30 verschiedenen Augen zu einem Modell zu kondensieren», sagt Pascal Bérard, der im Rahmen dieses Projekts seine Dissertation an der ETH Zürich schreibt, mit der das Disney Lab zusammenarbeitet. Der Trick: Für die Rekonstruktionsalgorithmen der einzelnen Augenteile wurde jeweils eine Anzahl Parameter definiert, je nach Komponente unterschiedlich viele. Für die Irisrekonstruktion etwa sind das die einzelnen Farbstufen für jeden Pixel. Das Rekonstruktionsprogramm für das Wachstum der Äderchen dagegen wird nur über vier Parameter definiert: die Dicke der Äderchen, deren Länge sowie die Ausdünnung und die Verästelung.

Vor einem halben Jahr nun haben die Forscher ihre Methode publiziert – und werden seither mit Anfragen überhäuft. Dank der Parametrisierung reicht heute für die Imitation des Auges eines Schauspielers ein hochaufgelöstes Foto. Dieses Foto enthält genügend Angaben, um mithilfe der Rekonstruktionsalgorithmen und mit den richtig gesetzten Parametern ein realistisches Auge nachzuahmen und dieses auch noch richtig in Szene zu setzen. Doch das Programm kann noch mehr. Wenn der Schauspieler nach durchwachter Nacht aussehen soll, kann der Anwender des Programms – zum Beispiel ein «Digital Artist» bei der Filmproduktion – die Parameter für das Äderchenwachstum so setzen, dass die Augen gerötet erscheinen.

Mit der zweiten Methode haben die Forscher die Augen des Schauspielers Benedict Cumberbatch im neuen Film «Dr. Strange» rekonstruiert, um ihn auch in unwahrscheinlichen Situationen wie Cumberbatch aussehen zu lassen. Der britische Schauspieler spielt in diesem von Scott Derrickson gedrehten Super-Heldenfilm den verzweifelten Neurochirurgen Stephen Strange, der nach einem Autounfall in eine Welt von Magie und Wunderglauben gerät. In diesem Film wurde Pascal Bérard auch im Abspann erwähnt. «Das war ein fantastisches Gefühl», sagt Bérard. «Als Wissenschaftler arbeitet man ja viel für sich allein. Wenn dann diese Arbeit so honoriert wird, ist das schon sehr schön.»

(Tages-Anzeiger)

Erstellt: 02.04.2017, 23:06 Uhr

Computergrafiker Pascal Bérard.

Artikel zum Thema

Der simulierte Mensch

Analyse Haben Sie genug von dieser Welt? Kein Problem. Vielleicht ist sie nur eine Simulation, aus der wir bald in eine andere Simulation entkommen können. Mehr...

Kunst aus Kälte

Ein langer Blick in ein erfrorenes Herz: Der türkische Filmregisseur Nuri Bilge Ceylan erzählt in «Winter Sleep» von der Simulation menschlicher Wärme. Das grossartige Dialogstück gewann in Cannes die Goldene Palme. Mehr...

«Computerspiele sind wie Vergnügungsparks»

Der Medienwissenschaftler Alexis Blanchet sagt, warum Hollywood so gerne Games verfilmt – wie jetzt «World of Warcraft». Und was Videospiele von Filmen unterscheidet. Mehr...

Die Redaktion auf Twitter

Stets informiert und aktuell. Folgen Sie uns auf dem Kurznachrichtendienst.

Kommentare

Weiterbildung

Lehrstellen

Sich zu bewerben heisst für sich werben

Die Welt in Bildern

Hast du mal Feuer: Forrest Scott schaut auf die Buschfeuer rund um sein Haus bei Santa Margarita in Kalifornien (26. Juni 2017).
(Bild: Joe Johnston/The Tribune) Mehr...