EMO (Emotive Portrait Alive) ist eine neue generative KI, die vom Institute of Intelligent Computing (IIC) von Alibaba erforscht wird und die Fähigkeit besitzt, jedes Bild „auf magische Weise“ so zu verwandeln, dass es realistisch sprechen und singen kann.
Mit anderen Worten: Die KI von Alibaba kann ein statisches Referenzbild und Sprachaudio in ein Video umwandeln, das mit natürlichem Ausdruck sprechen und singen kann.
Frühere KIs haben nur den Mund und einen Teil des Gesichts verändert, während EMO Gesichtsausdrücke, natürliche Mundausdrücke, präzise Lippensynchronisation, bewegte Augenbrauen, runzelte die Stirn oder kann sich sogar zur Musik bewegen.
Alibaba hat einige Videos veröffentlicht, die zeigen, wie Bilder im Handumdrehen in Videos umgewandelt und importierte Lieder gesungen werden. EMO unterstützt Englisch, Chinesisch und viele weitere Sprachen.
Alibaba gab bekannt, dass EMO, um realistische Gesichtsausdrücke erzeugen zu können, mit einer großen Menge an Bild-, Audio- und Videodaten über ein eigenes Diffusionsmodell namens Audio2Video trainiert wurde.
Um die derzeit große Herausforderung des Realismus und der Ausdrucksstärke bei der Videogenerierung aus Bildern und Tönen zu bewältigen, konzentrierte sich das Forschungsteam auf die Beziehung und Nuancen zwischen Audiosignalen und Gesichtsbewegungen. Dabei wurden die zwischengeschaltete 3D-Modellverknüpfung oder Gesichtsmerkmale umgangen, Frames nahtlos überführt und die Konsistenz des Videos gewahrt.
Alibaba hat nicht bekannt gegeben, wann diese KI der Öffentlichkeit zugänglich gemacht wird, hat aber die Daten von EMO auf Github veröffentlicht und Forschungsarbeiten auf ArXiv gepostet.
Was ist Hwacha? Dieser Artikel verrät Ihnen, was die Hwacha-Maschine kann, die der japanischen Armee so viel Angst einjagt.
Welche Phasen gibt es nach dem Tod? Dieser Artikel erklärt Ihnen den Prozess der Verwesung.
Seit dem Mi Band 5 verfügt Xiaomi über eine PAI-Körperindex-Messfunktion. Was ist dieser Index? Wie benutzt man ihn?
Code Will of Hashira ist für diejenigen, die neu im Spiel sind, um Belohnungen zu erhalten, darunter Geld, Edelsteine, Charakterbeschwörungstickets, Heldenerfahrung …
Beim Spielen von Pokémon Go müssen Spieler auf die Konfliktsysteme achten, um im Kampf gegen andere Pokémon den Sieg zu sichern. Dieser Artikel stellt Ihnen die Konfliktsysteme verschiedener Pokémon vor und hilft Ihnen, den Sieg zu sichern.
Die Aufforderung „Verifizierung erforderlich“ bei jeder App-Installation aus dem App Store kann nervig sein, insbesondere bei kostenlosen Apps. So deaktivieren Sie diese lästigen Verifizierungsaufforderungen auf Ihrem iPhone.
In der neu veröffentlichten Beta von iOS 18.4 gefundener Code deutet darauf hin, dass Apple eine Alternative zur ChatGPT-Integration in Apple Intelligence vorbereitet, höchstwahrscheinlich Google Gemini.
Vignette ist ein klassischer und zeitloser Effekt, der die Ränder eines Fotos abdunkelt, um den Fokus auf das Motiv zu lenken.
Wenn Sie Diamanten, SSR-Generäle, Lotterielose und viele andere Artikel erhalten möchten, verwenden Sie den Code „Black Goddess“ und lösen Sie die Prämien ein.
Derzeit ist Doggo Go ein Handyspiel, bei dem nur 1 % der Spieler weltweit Level 2 schaffen.
Was tun, wenn Sie vom Tragen von Schuhen Blasen an den Füßen bekommen? Dieser Artikel zeigt Ihnen, wie Sie Blasen durch das Tragen von Schuhen behandeln können.
Multiple-Choice-Fragen zu den Biowissenschaften helfen Ihnen, Ihr Wissen über die Welt zu festigen und zu erweitern. Beantworten Sie die folgenden Allgemeinwissensfragen!
Diese Anleitung zeigt Ihnen alle erforderlichen Schritte zum Anzeigen des Papierkorbs im Datei-Explorer, unabhängig davon, ob Sie Windows 10 oder Windows 11 verwenden.
Sie können aus abstrakten Fotos Ihre eigenen Handy-Hintergrundbilder erstellen. Sie sind nicht nur schön, sondern der Erstellungsprozess macht auch viel Spaß.
Die Wahl des falschen Ladegeräts kann dazu führen, dass Ihr Gerät langsam lädt oder sogar kaputt geht. Und bei so vielen Optionen und ähnlichen Produkten ist es schwieriger denn je, das richtige zu finden.
