Videos übersetzen, sprechende Fotos, künstliche und persönliche Avatare: Was kann die Video-KI HeyGen?

Zurück zur Übersicht

Vier konkrete Einsatzzwecke für die Video-KI HeyGen stelle ich in diesem Blog vor. Ich zeige, wie es aussieht, wenn die Künstliche Intelligenz ein Video übersetzt oder ein Portraitfoto zum Sprechen bringt. Neue Videos erstellt man mit HeyGen ebenfalls: Künstliche und persönliche Avatare sprechen jeden beliebigen Text in unterschiedlichen Sprachen. Wie das aussieht und welche Unterschiede es gibt, erfahren Sie hier.

Tech-Themen

Vereinfacht gesagt, bearbeitet und erstellt man mit der Video-KI HeyGen Videos unterschiedlichster Art. Das Startup hat seinen Hauptsitz in Kalifornien, USA und macht seit einigen Monaten Schlagzeilen – auch in etablierten Medien wie der NZZ oder beim SWR2 (Audio). Das einzige, das man für die Nutzung benötigt, sind ein Internetzugang und der Gastzugang zu HeyGen. Am besten funktionierte HeyGen bei uns im Test übrigens mit Googles Chrome Browser.

1. Fotos zum Sprechen bringen mit Künstlicher Intelligenz

Schon länger gibt es Apps, die Fotos mit sprechenden Lippen versehen. Das geht auch mit HeyGen. Man benötigt nur ein Foto und den gesprochenen Text. Vorteil: Ein sprechendes Foto geht sehr schnell und mit geringem Aufwand. Nachteile: Man erkennt schnell, dass der Mund nicht „echt“ ist – vor allem, wenn es sich bei dem Foto um eine Nahaufnahme handelt. Die Stimme ist künstlich und hat nichts mit der Originalstimme der Person zu tun. Selbst wenn man die abgebildete Person nicht kennt, merkt man schnell, dass das Video nicht echt ist.

Aber: Einer unserer Kunden hat seine Interviewreihe zu Künstlicher Intelligenz mit Videos der Interviewpartner beworben. Diese Videos wurden aus Portraitfotos erstellt und entsprechend gekennzeichnet. Der gesprochene Text ist autorisiert und das Ergebnis ist in den sozialen Netzwerken zu finden: Beispiel für ein sprechendes Foto bei LinkedIn.

Mein Selbsttest überzeugt mich nicht. Der Mund ist zu groß, die Stimme zu fremd – für mich kommt ein sprechendes Foto als ernst gemeintes Video nicht in Betracht.

Was kann die Video-KI HeyGen? Ein Selbsttest

2. Text-to-Video mit HeyGen: lippensynchrone Avatare in verschiedenen Sprachen

Anders sieht es bei Videos mit den von HeyGen angebotenen Avataren aus. Ich kann auswählen, wie mein Avatar aussieht, ob ich einen männlichen oder weiblichen Avatar sehen möchte, welche Stimme am besten passt und in welcher Sprache mein Video sein soll. Mit den passenden Vorlagen ist ein Demo-Video schnell erstellt und das Ergebnis aus dem Selbsttest finde ich für die Kürze der Produktionszeit ziemlich beeindruckend:

Was kann die Video-KI HeyGen? Ein Selbsttest

Es hat ungefähr 90 Minuten gedauert, dieses Video zu erstellen. Den Text gibt man in den verschiedenen Szenen in ein Freitextfeld ein. Aussehen, Stimme und Sprache der Avatare lassen sich per Klick wechseln. Wo kann man KI-generierte Videos wie dieses nun einsetzen? Mir fallen ad hoc mindestens drei Anwendungsszenarien ein:

2.1. KI-generierter Video-Content für soziale Netzwerke wie LinkedIn

Mit künstlichen Avataren produzieren Sie schnell und günstig Videos für den Social Media Auftritt – und das in unterschiedlichen Sprachen. Ganz ohne Studio-Kosten und aufwändige Produktionen.

2.2 Webinare und E-Learning

„Snackable“ Content wie kurze Tutorials und Webinare lassen sich mit künstlichen Avataren schnell und günstig in mehreren Sprachen produzieren. Die Compliance-Schulung besteht aktuell aus einer PowerPoint-Präsentation? Das lässt sich mit einem KI-Avatar über HeyGen viel ansprechender aufbereiten. Der Geschäftsbericht besteht aus einem vielseitigen PDF? Präsentieren Sie die Highlights ansprechend als KI-Video mit HeyGen.

2.3 KI-Videos für die Website

Auch für die Useransprache im Web oder den Service-Bereich finde ich avatar-basierte Videos ebenfalls geeignet. Kurze „How-to“-Anleitungen für Tools im Hilfebereich könnte man mit KI-generierten Videos sehr ansprechend aufbereiten.

Vorteile lippensynchroner Avatare aus meiner Sicht:

  • Die Avatare sprechen genau, was Sie tippen – in vielen verschiedenen Sprachen.
  • Der gesprochene Text lässt sich jederzeit ändern, auch nach der Videoproduktion.
  • Gefällt ein anderer Avatar besser? Per Mausklick ist er geändert.
  • Avatare stehen, anders als Models und Schauspieler:innen, rund um die Uhr zur Verfügung.
  • Video-Content wird auch ohne Video-Creator und mit sehr geringem Budget möglich.

Nachteile KI-generierter Avatare:

  • Die Avatare wirken oft künstlich und recht steif (noch…).
  • Das gesprochene Wort ist nicht in jedem Fall „natürlich“.
  • Die Auswahl und Kleidung der Standard-Avatare ist relativ überschaubar (noch…).

3. HeyGen-KI: Videos übersetzen in Sprachen wie Englisch, Spanisch oder Türkisch

Sehr beeindruckt hat mich die Möglichkeit, mit HeyGen ein Original-Video in verschiedene Sprachen zu übersetzen. Dafür habe ich ein Video ein Mal deutsch eingesprochen und bei HeyGen hochgeladen. Die Video-KI hat das Video samt meiner Stimme und Lippenbewegungen in die Fremdsprache übersetzt und das Ergebnis finde ich sehr überzeugend:

Was kann die Video-KI HeyGen? Ein Selbsttest

Ja, die Lippenbewegungen sind etwas ungewohnt und fühlen sich noch nicht ganz natürlich an. Aber die eigene Stimme passt und das auch in der Fremdsprache.

Wenn ich hier etwas in die Zukunft denke und entsprechend Rechenpower und kurze Latenzen annehme, halte ich es für möglich, dass wir irgendwann in Echtzeit (Video-)Telefonate über Sprachgrenzen hinweg führen werden. Noch Zukunftsmusik.

Bis dahin kann nun jeder einfach, kostengünstig und schnell Videos mit HeyGen in unterschiedliche Sprachen übersetzen. Das gesprochene Wort, bzw. die von der KI gewählte Übersetzung kann derzeit nicht in der Standard-Bezahlversion aber als Premium-Feature beeinflusst werden – sonst man muss nehmen, was die KI aussgibt. Einfacher war es zum Beispiel für multinationale Unternehmen noch nie, Mitarbeiter:innen weltweit mit Vorstandsvideos in ihrer Landessprache zu bedienen. Ich empfehle aber dringend, die per KI automatisch übersetzten Videos als “Convenience-Übersetzung” zu kennzeichnen.

4. Persönlicher Avatar: KI produziert Ihr persönliches Videos aus getipptem Text

Seit kurzem bietet HeyGen mit „Instant Avatar 2.0“ die Möglichkeit, einen persönlichen Avatar zu erstellen. Aus einer nur zwei Minuten langen Video-Vorlage von Ihnen erstellt die KI Ihren persönlichen Video-Avatar. Ihr digitaler Zwilling spricht danach jeden beliebigen Text – mit Ihrer (sehr ähnlich klingenden) eigenen Stimme und in vielen verfügbaren Sprachen. Nicht perfekt (…noch…), aber auch dieses Ergebnis finde ich ziemlich beeindruckend:

Was kann die Video-KI HeyGen? Ein Selbsttest

Mögliches Einsatzszenario: Mit einem 2-Minuten-Tranings-Video und entsprechend autorisierter Freigabe im Vorfeld lassen sich Statements von beliebigen Personen ad hoc und extrem schnell auch ohne deren Mitwirkung produzieren. Den verantwortungsbewussten Umgang mit einmal erstellten persönlichen Avataren setze ich hier voraus. Denn der mögliche Missbrauch liegt hier sehr nah, gerade wenn der HeyGen Account einmal in fremde Hände gelangen sollte.

HeyGen schlägt die Funktion dazu vor, personalisierte 1:1 Videos per API ad hoc „at scale“ zu produzieren. Zum Beispiel um Neukund:innen in einer Bestätigungs-E-Mail mit einem persönlichen Video zu begrüßen. HeyGen selbst nutzt das, wenn man sich für eines der regelmäßig stattfindenden Produkt-Webinare registriert. In der Inbox landet kurz darauf ein Video des Gründers, personalisiert mit dem registrierten Namen.

Deepfakes Tür und Tor geöffnet? Vermutlich lässt sich HeyGen irgendwie austricksen – mich würde es wundern, wenn es da keinen Hack gäbe. Zumindest Normal-Anwender:innen wie mir ist es nicht einfach möglich, Avatare aus Fremd-Videos öffentlicher Personen zu erstellen. Ich habe es testweise mit der Aufnahme einer Parlamentsdebatte versucht und bin gescheitert, daraus einen persönlichen Avatar zu generieren: Denn bei der Erstellung des KI-Avatars muss eine Bestätigung mit einem bestimmten Text eingesprochen und hochgeladen werden, bevor der Avatar zur Verfügung steht.

Nutzen Sie Tools wie dieses mit Bedacht und lesen Sie sich vorab die Nutzungsbedingungen aufmerksam durch. Oft räumen Sie dem Anbieter weitreichende Nutzungsrechte ein.

Hinweis: Diese Übersicht soll die Möglichkeiten von HeyGen zeigen. Es handelt sich nicht um die Aufforderung zur Nutzung des Tools. Wir sind nicht der Anbieter von HeyGen und wir erhalten keine Provision für das hier vorgestellte Tool. Es gibt keinerlei geschäftliche Verbindung zu HeyGen – außer natürlich unser selbst bezahltes Kundenprofil.

Sie haben Anmerkungen oder Fragen zum Artikel? Nutzen Sie gerne unser Kontaktformular.

Beitragsbild: Placeit