Alibabas KI verwandelt Standbilder in Sprechen und Singen

EMO (Emotive Portrait Alive) ist eine neue generative KI, die vom Institute of Intelligent Computing (IIC) von Alibaba erforscht wird und die Fähigkeit besitzt, jedes Bild „auf magische Weise“ so zu verwandeln, dass es realistisch sprechen und singen kann.

Mit anderen Worten: Die KI von Alibaba kann ein statisches Referenzbild und Sprachaudio in ein Video umwandeln, das mit natürlichem Ausdruck sprechen und singen kann.

Frühere KIs haben nur den Mund und einen Teil des Gesichts verändert, während EMO Gesichtsausdrücke, natürliche Mundausdrücke, präzise Lippensynchronisation, bewegte Augenbrauen, runzelte die Stirn oder kann sich sogar zur Musik bewegen.

Alibaba hat einige Videos veröffentlicht, die zeigen, wie Bilder im Handumdrehen in Videos umgewandelt und importierte Lieder gesungen werden. EMO unterstützt Englisch, Chinesisch und viele weitere Sprachen.

Alibaba gab bekannt, dass EMO, um realistische Gesichtsausdrücke erzeugen zu können, mit einer großen Menge an Bild-, Audio- und Videodaten über ein eigenes Diffusionsmodell namens Audio2Video trainiert wurde.

Um die derzeit große Herausforderung des Realismus und der Ausdrucksstärke bei der Videogenerierung aus Bildern und Tönen zu bewältigen, konzentrierte sich das Forschungsteam auf die Beziehung und Nuancen zwischen Audiosignalen und Gesichtsbewegungen. Dabei wurden die zwischengeschaltete 3D-Modellverknüpfung oder Gesichtsmerkmale umgangen, Frames nahtlos überführt und die Konsistenz des Videos gewahrt.

Alibaba hat nicht bekannt gegeben, wann diese KI der Öffentlichkeit zugänglich gemacht wird, hat aber die Daten von EMO auf Github veröffentlicht und Forschungsarbeiten auf ArXiv gepostet.

Einen Kommentar hinterlassen

Side Hustles That Actually Pay in 2026: 7 Realistic Options and the Tradeoffs to Know

Side Hustles That Actually Pay in 2026: 7 Realistic Options and the Tradeoffs to Know

Compare realistic side hustles for 2026 by startup cost, fees, flexibility, and income control, with current tax and scam guidance from official sources.

Ergonomie im Homeoffice 2026: So optimieren Sie Ihr Heimbüro, ohne zu viel auszugeben

Ergonomie im Homeoffice 2026: So optimieren Sie Ihr Heimbüro, ohne zu viel auszugeben

Verbessern Sie die Ergonomie Ihres Homeoffice mit den aktuellen OSHA- und NIOSH-Richtlinien zu Stuhlpassform, Monitorhöhe, Laptop-Aufstellung, Beleuchtung und Bewegungsabläufen.

Why Emotional Intelligence Matters in Leadership—and How to Build It

Why Emotional Intelligence Matters in Leadership—and How to Build It

Learn why emotional intelligence matters in leadership, where it helps most, how to strengthen it, and how to tell whether your approach is working.

Wie man ohne Hochschulabschluss in eine Technologiekarriere wechselt: Ein ergebnisorientierter Fahrplan für 2026

Wie man ohne Hochschulabschluss in eine Technologiekarriere wechselt: Ein ergebnisorientierter Fahrplan für 2026

Ein praktischer Leitfaden für den Einstieg in die Tech-Branche ohne Hochschulabschluss: Wählen Sie eine leicht zugängliche Stelle, erwerben Sie berufsrelevante Fähigkeiten, beweisen Sie diese anhand von Projekten und nutzen Sie das Feedback aus dem Bewerbungsprozess, um sich zu verbessern.

Aufbau einer persönlichen Marke auf LinkedIn im Jahr 2026: Was funktioniert noch, was hat sich verändert und was sollte man ignorieren?

Aufbau einer persönlichen Marke auf LinkedIn im Jahr 2026: Was funktioniert noch, was hat sich verändert und was sollte man ignorieren?

Bauen Sie im Jahr 2026 eine glaubwürdige LinkedIn-Personalmarke auf – mit aktuellem Profil, Inhalten, Newsletter, Analysen, Verifizierung und Sichtbarkeitsberatung von LinkedIn.

Quiet Quitting vs. Quiet Firing in 2026: What’s Really Changing at Work

Quiet Quitting vs. Quiet Firing in 2026: What’s Really Changing at Work

Quiet quitting and quiet firing are catchy labels, not diagnoses. Learn what is verified, what depends on context, and what employees and managers can do next.

Der Aufstieg des Teilzeit-Managers: Wann Teilzeit-Führungskräfte auf der C-Suite sinnvoll sind

Der Aufstieg des Teilzeit-Managers: Wann Teilzeit-Führungskräfte auf der C-Suite sinnvoll sind

Teilzeit-Führungskräfte bieten Top-Management ohne Vollzeitbeschäftigung. Erfahren Sie, wann dieses Modell funktioniert, welche Fragen Sie stellen sollten und welche Risiken zu berücksichtigen sind.

Wie Sie im Rahmen der Leistungsbeurteilung im vierten Quartal eine Gehaltserhöhung aushandeln: Ein praktischer Entscheidungsleitfaden für 2026

Wie Sie im Rahmen der Leistungsbeurteilung im vierten Quartal eine Gehaltserhöhung aushandeln: Ein praktischer Entscheidungsleitfaden für 2026

Bereiten Sie einen überzeugenderen Antrag auf Gehaltserhöhung im vierten Quartal vor, der aktuelle Lohndaten, Optionen für den Zeitpunkt, mögliche Abwägungen bei der Vergütung sowie Formulierungsvorschläge für die Szenarien Ja, Teilweises oder Nein enthält.

6 gefragte Fähigkeiten, die Sie noch vor Ende 2026 erlernen können

6 gefragte Fähigkeiten, die Sie noch vor Ende 2026 erlernen können

Wählen Sie eine gut bezahlte Qualifikation, mit der Sie realistischerweise noch vor Ende 2026 beginnen können, unter Berücksichtigung aktueller Gehaltsdaten, Lernprioritäten und einer praktischen Selbsteinschätzung.

Mastering the Hybrid Work Schedule: A Practical Framework That Actually Holds Up

Mastering the Hybrid Work Schedule: A Practical Framework That Actually Holds Up

Build a hybrid work schedule around tasks, team overlap, and measurable outcomes. See sample patterns, warning signs, and when to adjust your plan.