Mimik einer Person auf eine andere übertragen

Ein Gefühlt löst bei jedem Menschen ein individuelles Mienenspiel aus. Ein neuer Algorithmus ermöglicht nun, die persönliche Mimik und Lippenbewegungen in Echtzeit auf ein Video-Signal einer anderen Person zu übertragen.

Die Gesichtsbewegungen der Ausgangsperson werden dabei präzise auf das der Zielperson abgebildet, während deren Kopfbewegungen und Gestik unverändert bleiben. Den Zuschauern soll so unmöglich gemacht werden, die Manipulation zu erkennen.

Forscher erstellten vorab für die beiden Personen ein Gesichtsmodell mit einer mathematischen Beschreibung der Kopfgeometrie sowie dem Reflexionsgrad der Haut. Videoaufnahmen der beiden Akteure dienten dazu, die Tiefeninformation zu erhalten. Die benötigte Kamera - beispielsweise Microsofts Kinect - erfasst die Entfernung jedes Bildpunktes zur Szene.

Dabei werden Mimik und Lippenbewegungen beider Personen durch die Software für die Übertragung analysiert, die Unterschiede berechnet und die Mimik der Ausgangsperson auf das Gesicht der Zielperson angepasst.

Keinen Einfluss haben dabei unterschiedliche Lichtverhältnisse wie auch stark unterschiedliche Physiognomien (Erscheinung von Lebewesen) beider Personen. Bei einer Abweichung, zum Beispiel durch Wegdrehen des Gesichts während der Übertragung, korrigiert das die Software sofort.

Für den Algorithmus ist keine spezielle Hardware nötig. Der Grafikprozessor eines modernen Standartrechners kann die Berechnung übernehmen. Über ein mögliches Einsatzgebiet sind sich die Forscher auch schon einig. Beispielsweise könnte man die neue Technik bei der Nachvertonung synchronisierter Filme benutzen, wenn die Lippenbewegungen der Zielperson deutlich von dem abweichen, was der gesprochene Text eigentlich nahelegt.

Die Froscher begreifen ihr Ergebnis aber auch als Baustein für Techniken, mit denen Computer ihre Umwelt erfassen, um Interaktion zwischen digitaler und realer Welt zu ermöglichen. Sie weisen aber darauf hin, dass diese Technik viele Manipulationsmöglichkeiten eröffnet. Man könne etwa bei einem in vermeintlich in Echtzeit übertragenen Video-Stream das, was der dort Agierende übermitteln will, durch gänzlich andere Botschaften übermalen.

Das Projekt mit dem Namen «Real-time Expression Transfer for Facial Reenactment» wird Anfangs November an der achten SIGGRAPH Asia im japanischen Kobe vorgestellt. Es ist das Ergebnis einer Gemeinschaftsarbeit von Forschungsgruppen der Universität Erlangen-Nürnberg, des Max-Planck-Instituts für Informatik in Saarbrücken sowie der Universität von Stanford.