Alibabas KI verwandelt Standbilder in Sprechen und Singen

EMO (Emotive Portrait Alive) ist eine neue generative KI, die vom Institute of Intelligent Computing (IIC) von Alibaba erforscht wird und die Fähigkeit besitzt, jedes Bild „auf magische Weise“ so zu verwandeln, dass es realistisch sprechen und singen kann.

Mit anderen Worten: Die KI von Alibaba kann ein statisches Referenzbild und Sprachaudio in ein Video umwandeln, das mit natürlichem Ausdruck sprechen und singen kann.

Frühere KIs haben nur den Mund und einen Teil des Gesichts verändert, während EMO Gesichtsausdrücke, natürliche Mundausdrücke, präzise Lippensynchronisation, bewegte Augenbrauen, runzelte die Stirn oder kann sich sogar zur Musik bewegen.

Alibaba hat einige Videos veröffentlicht, die zeigen, wie Bilder im Handumdrehen in Videos umgewandelt und importierte Lieder gesungen werden. EMO unterstützt Englisch, Chinesisch und viele weitere Sprachen.

Alibaba gab bekannt, dass EMO, um realistische Gesichtsausdrücke erzeugen zu können, mit einer großen Menge an Bild-, Audio- und Videodaten über ein eigenes Diffusionsmodell namens Audio2Video trainiert wurde.

Um die derzeit große Herausforderung des Realismus und der Ausdrucksstärke bei der Videogenerierung aus Bildern und Tönen zu bewältigen, konzentrierte sich das Forschungsteam auf die Beziehung und Nuancen zwischen Audiosignalen und Gesichtsbewegungen. Dabei wurden die zwischengeschaltete 3D-Modellverknüpfung oder Gesichtsmerkmale umgangen, Frames nahtlos überführt und die Konsistenz des Videos gewahrt.

Alibaba hat nicht bekannt gegeben, wann diese KI der Öffentlichkeit zugänglich gemacht wird, hat aber die Daten von EMO auf Github veröffentlicht und Forschungsarbeiten auf ArXiv gepostet.

Einen Kommentar hinterlassen

So ändern Sie Ihr Microsoft Teams-Profilbild auf dem iPhone und Android

So ändern Sie Ihr Microsoft Teams-Profilbild auf dem iPhone und Android

Entdecken Sie die einfachste Methode, Ihr Microsoft Teams-Profilbild auf iPhone und Android zu ändern. Schritt-für-Schritt-Anleitung mit Screenshots für reibungslose Updates in der neuesten App-Version. Verbessern Sie noch heute Ihr professionelles Image!

So beheben Sie Microsoft Teams-Fehler: Wie Sie die Hilfe verwenden

So beheben Sie Microsoft Teams-Fehler: Wie Sie die Hilfe verwenden

Sind Sie es leid, dass die Microsoft Teams-Hilfe Ihren Arbeitsablauf blockiert? Hier finden Sie Schritt-für-Schritt-Lösungen, die auch mit den neuesten Versionen funktionieren. Cache leeren, aktualisieren und vieles mehr – ganz ohne technische Vorkenntnisse!

Behebung des Fehlers „Microsoft Teams-Webclient deaktiviert“

Behebung des Fehlers „Microsoft Teams-Webclient deaktiviert“

Sind Sie es leid, dass der Fehler „Microsoft Teams Web Client deaktiviert“ Ihre Meetings blockiert? Befolgen Sie unsere bewährten Schritt-für-Schritt-Anleitungen, um den Fehler schnell zu beheben – ganz ohne IT-Hilfe!

So laden Sie Microsoft Teams-Aufzeichnungen auf Ihren Laptop oder PC herunter

So laden Sie Microsoft Teams-Aufzeichnungen auf Ihren Laptop oder PC herunter

Entdecken Sie einfache Möglichkeiten, Microsoft Teams-Aufzeichnungen auf Ihren Laptop oder PC herunterzuladen. Erhalten Sie Schritt-für-Schritt-Anleitungen für die Desktop-App, das Web und OneDrive sowie Tipps zur Fehlerbehebung, damit Ihre Meetings reibungslos ablaufen. Ideal für Windows- und Mac-Nutzer!

Behebung des Microsoft Teams-Fehlercodes 404 im Web

Behebung des Microsoft Teams-Fehlercodes 404 im Web

Sind Sie es leid, dass der Microsoft Teams-Fehlercode 404 Ihre Meetings blockiert? Folgen Sie unserer bewährten Schritt-für-Schritt-Anleitung, um den Cache zu leeren, Browserprobleme zu beheben und den Fehler „Nicht gefunden“ schnell zu lösen – für eine reibungslose Zusammenarbeit. Aktualisiert mit den neuesten Fehlerbehebungen!

Behebung des Microsoft Teams-Beitrittsproblems über den Direktlink

Behebung des Microsoft Teams-Beitrittsproblems über den Direktlink

Probleme beim Beitritt zu Microsoft Teams-Besprechungen? Hier finden Sie bewährte Lösungen über direkte Links. Schnelle Hilfe für reibungsloses Beitreten – ganz ohne technische Vorkenntnisse!

Wo Sie Ihre Microsoft Teams-ID und Ihre Kontoinformationen finden

Wo Sie Ihre Microsoft Teams-ID und Ihre Kontoinformationen finden

Sie finden Ihre Microsoft Teams-ID oder Ihre Kontodaten nicht? Diese Schritt-für-Schritt-Anleitung zeigt Ihnen genau, wo Sie Ihre Microsoft Teams-ID und Ihre Kontoinformationen auf Desktop-Computern, im Web, auf Mobilgeräten und mehr finden, um eine reibungslose Zusammenarbeit zu gewährleisten.

So beheben Sie den Microsoft Teams-Anmeldefehler auf Chromebooks

So beheben Sie den Microsoft Teams-Anmeldefehler auf Chromebooks

Haben Sie Probleme mit der Microsoft Teams-Anmeldung auf Chromebooks? Hier finden Sie Schritt-für-Schritt-Lösungen, um Anmeldeprobleme schnell zu beheben. Leeren Sie den Cache, aktualisieren Sie Apps und vieles mehr für reibungsloses Teamwork. Funktioniert mit dem neuesten Chrome OS!

Fehlerbehebung bei Microsoft Teams-Proxy-Fehlereinstellungen

Fehlerbehebung bei Microsoft Teams-Proxy-Fehlereinstellungen

Haben Sie Probleme mit dem Microsoft Teams-Proxy-Fehler? Entdecken Sie bewährte Schritte zur Fehlerbehebung bei den Microsoft Teams-Proxy-Einstellungen. Leeren Sie den Cache, passen Sie die Proxy-Einstellungen an und führen Sie mit unserer Expertenanleitung innerhalb weniger Minuten wieder reibungslose Anrufe durch.

Wo wird meine Microsoft Teams-Aufzeichnung gespeichert? Finden Sie Ihre Dateien schnell

Wo wird meine Microsoft Teams-Aufzeichnung gespeichert? Finden Sie Ihre Dateien schnell

Sie finden Ihre Microsoft Teams-Aufzeichnung nicht? Erfahren Sie, wo Teams Besprechungsdateien in OneDrive oder SharePoint speichert und wie Sie diese schnell finden und sofort darauf zugreifen können. Nie wieder verlorene Aufzeichnungen!