Alibabas KI verwandelt Standbilder in Sprechen und Singen

EMO (Emotive Portrait Alive) ist eine neue generative KI, die vom Institute of Intelligent Computing (IIC) von Alibaba erforscht wird und die Fähigkeit besitzt, jedes Bild „auf magische Weise“ so zu verwandeln, dass es realistisch sprechen und singen kann.

Mit anderen Worten: Die KI von Alibaba kann ein statisches Referenzbild und Sprachaudio in ein Video umwandeln, das mit natürlichem Ausdruck sprechen und singen kann.

Frühere KIs haben nur den Mund und einen Teil des Gesichts verändert, während EMO Gesichtsausdrücke, natürliche Mundausdrücke, präzise Lippensynchronisation, bewegte Augenbrauen, runzelte die Stirn oder kann sich sogar zur Musik bewegen.

Alibaba hat einige Videos veröffentlicht, die zeigen, wie Bilder im Handumdrehen in Videos umgewandelt und importierte Lieder gesungen werden. EMO unterstützt Englisch, Chinesisch und viele weitere Sprachen.

Alibaba gab bekannt, dass EMO, um realistische Gesichtsausdrücke erzeugen zu können, mit einer großen Menge an Bild-, Audio- und Videodaten über ein eigenes Diffusionsmodell namens Audio2Video trainiert wurde.

Um die derzeit große Herausforderung des Realismus und der Ausdrucksstärke bei der Videogenerierung aus Bildern und Tönen zu bewältigen, konzentrierte sich das Forschungsteam auf die Beziehung und Nuancen zwischen Audiosignalen und Gesichtsbewegungen. Dabei wurden die zwischengeschaltete 3D-Modellverknüpfung oder Gesichtsmerkmale umgangen, Frames nahtlos überführt und die Konsistenz des Videos gewahrt.

Alibaba hat nicht bekannt gegeben, wann diese KI der Öffentlichkeit zugänglich gemacht wird, hat aber die Daten von EMO auf Github veröffentlicht und Forschungsarbeiten auf ArXiv gepostet.

Sign up and earn $1000 a day ⋙

Leave a Comment

Warum ist in der heruntergeladenen MP4-Datei kein Ton enthalten?

Warum ist in der heruntergeladenen MP4-Datei kein Ton enthalten?

Manchmal laden Sie ein Video online herunter, stellen aber fest, dass beim Abspielen des heruntergeladenen MP4-Videos kein Ton zu hören ist. Das kann frustrierend sein, bedeutet aber nicht, dass das Problem unlösbar ist.

Beheben Sie den Fehler des Lautsprechersymbols mit dem roten X, der Computer hat keinen Ton

Beheben Sie den Fehler des Lautsprechersymbols mit dem roten X, der Computer hat keinen Ton

Wenn Sie auf dem Lautstärkesymbol in der Taskleiste ein rotes X sehen, können Sie Ihr Audiogerät nicht verwenden. Sehen Sie sich diese 4 Lösungen an!

Dinge, die Sie vielleicht nicht über Rentiere wissen

Dinge, die Sie vielleicht nicht über Rentiere wissen

Rentiere sind das wichtigste Fortbewegungsmittel des Weihnachtsmanns, doch erst 1823 besaß er ein eigenes Rentierschlittengespann. Hier sind einige merkwürdige und wunderbare Fakten über diese arktischen Tiere.

Fakten über die Grippe, die Sie vielleicht nicht kennen

Fakten über die Grippe, die Sie vielleicht nicht kennen

Influenza ist eine ansteckende Atemwegserkrankung, die Symptome wie Fieber, Husten, Schüttelfrost, Gliederschmerzen und Müdigkeit verursachen kann. Die Grippesaison findet jedes Jahr statt und das Virus kann sich schnell verbreiten.

So erstellen Sie Charaktere im Pixar-Stil mit ChatGPT

So erstellen Sie Charaktere im Pixar-Stil mit ChatGPT

In Anlehnung an den Trend, einzigartige Kunst- und Spielzeug-Actionfiguren im Ghibli-Stil zu schaffen, werden Sie in diesem Artikel angeleitet, Charaktere im Pixar-Stil zu erstellen.

Neueste Fantasy of Light-Codes und wie man Codes einlöst

Neueste Fantasy of Light-Codes und wie man Codes einlöst

Code Fantasy of Light bietet den Spielern eine Reihe attraktiver Belohnungen, darunter Goldmünzen und violette Kristalle, die Sie verwenden können.

Infinity Squad DTCL Saison 8.5: Teambildung, Aufbau, Gameplay

Infinity Squad DTCL Saison 8.5: Teambildung, Aufbau, Gameplay

Im Allgemeinen kann Infinity Squad DTCL, wie viele andere Squads auch, nicht viele Kombinationen bewerten, da nicht viele BĐVC-Squads getestet wurden. Dies wird jedoch wahrscheinlich der beliebteste Clan im kommenden Infinity Squad sein.

Soll ich einen USB-, Bluetooth- oder NFC-Sicherheitsschlüssel kaufen?

Soll ich einen USB-, Bluetooth- oder NFC-Sicherheitsschlüssel kaufen?

Die Verwendung eines Computer-Sicherheitsschlüssels ist die beste Möglichkeit zur Authentifizierung Ihrer Identität. Allerdings sind nicht alle Sicherheitsschlüssel gleich. USB-, NFC- und Bluetooth-Sicherheitsschlüssel haben jeweils ihre eigenen Vor- und Nachteile.

Warum ist der Weltraum ein Vakuum?

Warum ist der Weltraum ein Vakuum?

Das Universum ist ein nahezu absolutes Vakuum. Warum ist das so? Lasst uns gemeinsam mehr über das Vakuum des Universums erfahren!

Die Legenden hinter 6 heimgesuchten Schiffswracks

Die Legenden hinter 6 heimgesuchten Schiffswracks

Ob echte Schiffswracks oder geisterhafte Phänomene: Diese Schiffe erzählen Geschichten von ungeklärten Todesfällen, umherfliegenden Kugeln und Schreien aus den Tiefen des Meeres.

Bewundern Sie beeindruckende Weltraumfotos vom 10-Milliarden-Dollar-Teleskop

Bewundern Sie beeindruckende Weltraumfotos vom 10-Milliarden-Dollar-Teleskop

Vor kurzem hat die NASA viele klare Bilder verschiedener Regionen des Universums veröffentlicht, die vom größten Teleskop der Welt, James Webb, aufgenommen wurden.

TFT Gang Squad, wie man TFT Gang Staffel 14 spielt

TFT Gang Squad, wie man TFT Gang Staffel 14 spielt

Gangs sind in der TFT-Meta der 14. Saison in einer anderen Form als zuvor zurück, aber immer noch mit bekannten Gesichtern wie Twisted Fate, Braum und Shaco.

ChatGPT erlebte einen großflächigen Systemausfall

ChatGPT erlebte einen großflächigen Systemausfall

Laut der Systemstatusseite von OpenAI ist ChatGPT derzeit für eine kleine Gruppe von Benutzern nicht verfügbar, und viele von ihnen können die mobile Android-App oder andere Dienste nicht nutzen.

Tipps zur Verwendung des KI-Chatbots Copilot auf Telegram

Tipps zur Verwendung des KI-Chatbots Copilot auf Telegram

Sie können Copilot in Telegram für verschiedene Zwecke verwenden und die Funktionen von Copilot für die Verwendung in Telegram nutzen.

So finden Sie Rezepte per Foto auf ChatGPT

So finden Sie Rezepte per Foto auf ChatGPT

Die meisten KI-Chatbot-Tools unterstützen heute die Suche nach Informationen über Bilder, beispielsweise die Suche nach Rezepten über Bilder auf ChatGPT.