Image and Video Generation: A deep Learning Approach

Die Erstellung eines Videos hat das Ziel eine Videosequenz zu erzeugen, in der ein Objekt in einem Quellbild gemäß einiger externer Informationen (einem bestimmenden Label oder der Bewegung eines Fahrvideos) animiert wird. In diesem Vortrag wird Prof. Nicu Sebe einige der jüngsten Ergebnisse vorstellen, die er und sein Team erzielt haben und die sich mit folgenden Aspekten befassen: 1) Generierung von Gesichtsausdrücken, z.B. verschiedene Arten des Lächelns (z.B. spontan, angespannt usw.), wobei Vielfalt als treibende Kraft verwendet wird, 2) Erzeugung von Videos ohne Anmerkungen oder vorherige Informationen zu dem zu animierenden Objekt.

Sobald sie an einer Reihe von Videos trainiert wurde, die Objekte derselben Kategorie darstellen (z.B. Gesichter, menschliche Körper), kann diese Methode auf jedes Objekt der entsprechenden Klasse angewendet werden. Um dies zu erreichen, entkoppeln die Forscher Erscheinungs- und Bewegungsinformationen mithilfe eines self-supervised Algorithmus. Um komplexe Bewegungen zu unterstützen, verwenden sie eine Darstellung, die aus einer Reihe gelernter Schlüsselpunkte zusammen mit ihren lokalen affinen Transformationen besteht. Ein generierendes Netzwerk modelliert Okklusionen, die während Zielbewegungen auftreten, und kombiniert das aus dem Quellbild extrahierte Erscheinungsbild und die aus dem Fahrvideo abgeleitete Bewegung. Diese Lösung schneidet bei verschiedenen Benchmarks und bei verschiedenen Objektkategorien am Besten ab.

Dienstag, 20.04.2021, 17.00 – 18.00 Uhr, online Veranstaltung

Mehr Details unter: http://www.i-aida.org/ai-lectures/.

Dies ist ein Event von I-AIDA – International Artificial Intelligence Doctoral Academy.