Exklusiv: Sehen Sie sich die Weltpremiere der KI an

Exklusiv: Sehen Sie sich die Weltpremiere des KI-generierten Kurzfilms The Frost an.

Der Frost bringt schon in den ersten Aufnahmen seine unheimliche, beunruhigende Atmosphäre zum Ausdruck. Riesige eisige Berge, ein provisorisches Lager aus Zelten im Militärstil, eine Gruppe von Menschen, die sich um ein Feuer drängten und Hunde bellten. Es ist vertrautes Zeug, aber dennoch seltsam genug, um einen wachsenden Samen des Schreckens zu säen. Da stimmt was nicht.

„Gib mir den Schwanz“, sagt jemand. Schnitt auf eine Nahaufnahme eines Mannes am Feuer, der an einem rosa Stück Trockenfleisch nagt. Es ist grotesk. Die Art und Weise, wie sich seine Lippen bewegen, ist nicht ganz richtig. Einen Moment lang sieht es so aus, als würde er auf seiner eigenen gefrorenen Zunge kauen.

Willkommen in der beunruhigenden Welt des KI-Filmemachens. „Irgendwann haben wir einen Punkt erreicht, an dem wir einfach aufgehört haben, den Wunsch nach fotografischer Genauigkeit zu bekämpfen, und uns stattdessen auf die Verrücktheit von DALL-E konzentriert haben“, sagt Stephen Parker von Waymark, dem in Detroit ansässigen Videoproduktionsunternehmen hinter The Frost.

„The Frost“ ist ein 12-minütiger Film, in dem jede Aufnahme von einer bilderzeugenden KI generiert wird. Es ist eines der bisher beeindruckendsten – und bizarrsten – Beispiele dieses seltsamen neuen Genres. Sie können den Film unten in einer exklusiven Enthüllung von MIT Technology Review ansehen.

Um „The Frost“ zu drehen, nahm Waymark ein Drehbuch von Josh Rubin, einem ausführenden Produzenten der Firma, die den Film inszenierte, und speiste es in das Bilderzeugungsmodell DALL-E 2 von OpenAI ein. Nach einigem Ausprobieren gelang es, das Modell zur Produktion zu bringen Um die Bilder in einem Stil zu erstellen, mit dem sie zufrieden waren, verwendeten die Filmemacher DALL-E 2, um jede einzelne Aufnahme zu erstellen. Dann verwendeten sie D-ID, ein KI-Tool, das Standbildern Bewegung hinzufügen kann, um diese Aufnahmen zu animieren, sodass Augen blinzeln und Lippen sich bewegen.

„Wir haben eine Welt aus dem aufgebaut, was DALL-E uns zurückgegeben hat“, sagt Rubin. „Es ist eine seltsame Ästhetik, aber wir haben sie mit offenen Armen aufgenommen. Sie wurde zum Look des Films.“

„Dies ist sicherlich der erste generative KI-Film, den ich je gesehen habe, dessen Stil sich einheitlich anfühlt“, sagt Souki Mehdaoui, ein unabhängiger Filmemacher und Mitbegründer von Bell & Whistle, einem auf kreative Technologien spezialisierten Beratungsunternehmen. „Das Generieren von Standbildern und deren Puppenspiel verleihen dem Ganzen eine lustige Collage-Atmosphäre.“

„The Frost“ reiht sich in eine Reihe von Kurzfilmen ein, die mit verschiedenen generativen KI-Tools erstellt und in den letzten Monaten veröffentlicht wurden. Die besten generativen Videomodelle können immer noch nur wenige Sekunden Video produzieren. Daher weisen die aktuellen Filme ein breites Spektrum an Stilen und Techniken auf, das von Storyboard-ähnlichen Standbildsequenzen wie in „The Frost“ bis hin zu Mashups aus vielen verschiedenen sekundenlangen Videoclips reicht.

Im Februar und März veranstaltete Runway, ein Unternehmen, das KI-Tools für die Videoproduktion herstellt, ein KI-Filmfestival in New York. Zu den Höhepunkten zählen das jenseitige PLSTC von Laen Sanches, eine schwindelerregende Sequenz seltsamer, in Plastik eingewickelter Meeresbewohner, die vom bilderzeugenden Modell Midjourney erzeugt wurden; das traumhafte „Given Again“ von Jake Oleson, das eine Technologie namens NeRF (Neural Radiance Fields) verwendet, die 2D-Fotos in virtuelle 3D-Objekte umwandelt; und die surreale Nostalgie von „Expanded Childhood“ von Sam Lawton, einer Diashow von Lawtons alten Familienfotos, die er mit DALL-E 2 über ihre Grenzen hinaus erweitern konnte, sodass er mit den halb erinnerten Details alter Bilder spielen konnte.

Lawton zeigte seinem Vater die Bilder und hielt seine Reaktion im Film fest: „Etwas stimmt nicht. Ich weiß nicht, was das ist. Kann ich mich einfach nicht daran erinnern?“

Künstler sind oft die ersten, die mit neuen Technologien experimentieren. Doch die unmittelbare Zukunft generativer Videos wird von der Werbebranche geprägt. Waymark hat The Frost ins Leben gerufen, um zu untersuchen, wie generative KI in seine Produkte integriert werden kann. Das Unternehmen stellt Tools zur Videoerstellung für Unternehmen her, die nach einer schnellen und kostengünstigen Möglichkeit suchen, Werbespots zu erstellen. Waymark ist neben Firmen wie Softcube und Vedia AI eines von mehreren Startups, die mit nur wenigen Klicks maßgeschneiderte Videoanzeigen für Kunden anbieten.

Die aktuelle Technologie von Waymark, die Anfang des Jahres eingeführt wurde, vereint mehrere verschiedene KI-Techniken, darunter große Sprachmodelle, Bilderkennung und Sprachsynthese, um im Handumdrehen eine Videoanzeige zu erstellen. Waymark griff auch auf seinen großen Datensatz an nicht KI-generierten Werbespots zurück, die für frühere Kunden erstellt wurden. „Wir haben Hunderttausende Videos“, sagt CEO Alex Persky-Stern. „Wir haben das Beste daraus herausgeholt und darauf trainiert, wie ein gutes Video aussieht.“

Um das Tool von Waymark zu nutzen, das im Rahmen eines gestaffelten Abonnementdienstes ab 25 US-Dollar pro Monat angeboten wird, geben Benutzer lediglich den Namen und den Standort ihres Unternehmens an. Das Tool durchsucht zunächst die Websites und Social-Media-Konten des Unternehmens nach Text und Bildern. Anschließend werden diese Daten zur Generierung eines Werbespots verwendet, wobei mit GPT-3 von OpenAI ein Skript geschrieben wird, das von einer synthetischen Stimme über ausgewählten Bildern vorgelesen wird, die das Unternehmen hervorheben.

Ein schicker, minutenlanger Werbespot kann in Sekundenschnelle erstellt werden. Benutzer können das Ergebnis bei Bedarf bearbeiten, indem sie das Skript optimieren, Bilder bearbeiten, eine andere Stimme auswählen und so weiter. Laut Waymark haben bisher mehr als 100.000 Menschen das Tool genutzt. (Sie können sich hier einen der KI-generierten Werbespots von Waymark ansehen.)

Das Problem ist, dass nicht jedes Unternehmen über eine Website oder Bilder verfügt, auf die man zurückgreifen kann, sagt Parker. „Ein Buchhalter oder Therapeut hat möglicherweise überhaupt kein Vermögen“, sagt er.

Die nächste Idee von Waymark besteht darin, generative KI zu nutzen, um Bilder und Videos für Unternehmen zu erstellen, die noch keine haben – oder die, die sie haben, nicht nutzen wollen. „Das ist die Motivation hinter der Produktion von „The Frost“,“ sagt Parker. „Erschaffe eine Welt, eine Atmosphäre.“

Der Frost hat auf jeden Fall eine Atmosphäre. Aber es ist auch ruckelig. „Es ist noch lange kein perfektes Medium“, sagt Rubin. „Es war ein bisschen schwierig, bestimmte Dinge von DALL-E zu bekommen, wie zum Beispiel emotionale Reaktionen in Gesichtern. Aber manchmal hat es uns sehr gefreut. Wir dachten: ‚Oh mein Gott, das ist Magie, die vor unseren Augen geschieht.‘ .‘“

Dieser Hit-and-Miss-Prozess wird sich verbessern, je besser die Technologie wird. DALL-E 2, das Waymark für die Produktion von The Frost verwendete, wurde erst vor einem Jahr veröffentlicht. Tools zur Videogenerierung, die kurze Clips generieren, gibt es erst seit wenigen Monaten.

Der revolutionärste Aspekt der Technologie besteht darin, jederzeit neue Aufnahmen erzeugen zu können, sagt Rubin: „Mit 15 Minuten Versuch und Irrtum erhalten Sie die gewünschte Aufnahme, die perfekt in eine Sequenz passt.“ Er erinnert sich, dass er den Film zusammengeschnitten hatte und besondere Aufnahmen brauchte, wie zum Beispiel eine Nahaufnahme eines Stiefels an einem Berghang. Mit DALL-E konnte er es einfach aufrufen. „Es ist überwältigend“, sagt er. „Da begann es für mich als Filmemacher eine wirklich augenöffnende Erfahrung zu sein.“

Chris Boyle, Mitbegründer von Private Island, einem in London ansässigen Startup, das Kurzvideos produziert, erinnert sich auch an seine ersten Eindrücke von Models, die letztes Jahr Fotos machten: „Ich hatte einen Moment des Schwindelgefühls, als ich dachte: ‚Das wird‘ alles verändern.'"

Boyle und sein Team haben Werbespots für eine Reihe globaler Marken gemacht, darunter Bud Light, Nike, Uber und Terry's Chocolate, sowie kurze In-Game-Videos für Blockbuster-Titel wie Call of Duty.

Private Island setzt seit einigen Jahren KI-Tools in der Postproduktion ein, hat aber während der Pandemie zugenommen. „Während des Lockdowns waren wir sehr beschäftigt, konnten aber nicht mehr auf die gleiche Art und Weise fotografieren wie zuvor, also haben wir zu dieser Zeit begonnen, uns stärker auf maschinelles Lernen zu konzentrieren“, sagt Boyle.

Das Unternehmen hat eine Reihe von Technologien eingeführt, die die Postproduktion und visuelle Effekte einfacher machen, wie zum Beispiel die Erstellung von 3D-Szenen aus 2D-Bildern mit NeRFs und den Einsatz von maschinellem Lernen, um Motion-Capture-Daten aus vorhandenem Filmmaterial zu extrahieren, anstatt es von Grund auf zu sammeln.

Aber generative KI ist die neue Grenze. Vor ein paar Monaten veröffentlichte Private Island auf seinem Instagram-Konto einen gefälschten Bierwerbespot, der mit dem Videomodell Gen-2 von Runway und dem Bildmodell Stable Diffusion von Stability AI produziert wurde. Es wurde ein langsamer viraler Hit. Das Video mit dem Titel „Synthetic Summer“ zeigt eine typische Hinterhofparty-Szene, bei der junge, unbeschwerte Menschen sich zurücklehnen und in der Sonne an ihren Drinks nippen. Allerdings haben viele dieser Menschen klaffende Löcher statt Münder, ihre Bierdosen sinken ihnen beim Trinken in den Kopf und der Hinterhof brennt. Es ist eine Horrorshow.

„Schauen Sie es sich zunächst einmal an – es ist nur eine sehr generische, mittelmäßige Americana-Sache“, sagt Boyle. „Aber dein Hinterhirn oder was auch immer, ‚Ugh, alle ihre Gesichter sind verkehrt herum.‘“

„Wir experimentieren gerne damit, das Medium selbst zu nutzen, um die Geschichte zu erzählen“, sagt er. „Und ich denke, ‚Synthetic Summer‘ ist ein großartiges Beispiel, weil das Medium selbst so gruselig ist. Es visualisiert gewissermaßen einige unserer Ängste vor KI.“

Ist dies der Beginn einer neuen Ära des Filmemachens? Aktuelle Tools haben eine begrenzte Palette. The Frost und „Synthetic Summer“ nutzen beide die Stärken der Technologie, die sie hergestellt hat. The Frost passt gut zur gruseligen Ästhetik von DALL-E 2. „Synthetic Summer“ hat viele schnelle Schnitte, da Videogenerierungstools wie Gen-2 jeweils nur wenige Sekunden Video produzieren, die dann zusammengefügt werden müssen. Das funktioniert für eine Partyszene, in der alles chaotisch ist, sagt Boyle. Private Island dachte auch darüber nach, einen Martial-Arts-Film zu machen, bei dem schnelle Schnitte zum Thema passen.

Dies könnte bedeuten, dass wir anfangen werden, generative Videos in Musikvideos und Werbespots zu sehen. Aber darüber hinaus ist es nicht klar. Abgesehen von experimentellen Künstlern und einigen Marken nutzen es noch nicht viele andere Leute, sagt Mehdaoui.

Auch der ständige Wandel schreckt potenzielle Kunden ab. „Ich habe mit vielen Unternehmen gesprochen, die zwar interessiert zu sein scheinen, aber davor zurückschrecken, Ressourcen in Projekte zu stecken, weil sich die Technologie so schnell verändert“, sagt sie. Laut Boyle sind viele Unternehmen auch besorgt über die laufenden Klagen im Zusammenhang mit der Verwendung urheberrechtlich geschützter Bilder in den Datensätzen, die zum Trainieren von Modellen wie Stable Diffusion verwendet werden.

Niemand weiß genau, wohin das führt, sagt Mehdaoui: „Im Moment werden viele Annahmen wie Pfeile geworfen, ohne dass dahinter eine ganze Reihe differenzierter Überlegungen stecken.“

In der Zwischenzeit experimentieren Filmemacher weiterhin mit diesen neuen Werkzeugen. Inspiriert von der Arbeit von Jake Olseon, einem Freund von ihr, nutzt Mehdaoui generative KI-Tools, um einen kurzen Dokumentarfilm zu drehen, der dabei helfen soll, die Opioidkonsumstörung zu entstigmatisieren.

Waymark plant eine Fortsetzung von The Frost, die jedoch nicht auf DALL-E 2 verkauft wird. „Ich würde sagen, es ist eher eine Art ‚Watch this space‘-Ding“, sagt Persky-Stern. „Wenn wir das nächste machen, werden wir wahrscheinlich neue Technologien nutzen und sehen, was sie leisten können.“

Private Island experimentiert auch mit anderen Filmen. Anfang des Jahres wurde ein Video mit einem von ChatGPT erstellten Skript und von Stable Diffusion erstellten Bildern erstellt. Jetzt wird an einem Hybridfilm gearbeitet, bei dem Live-Action-Darsteller Kostüme tragen, die von Stable Diffusion entworfen wurden.

„Wir legen großen Wert auf die Ästhetik“, sagt Boyle und fügt hinzu, dass es sich um eine Abkehr von der vorherrschenden Bildsprache in der digitalen Kultur handelt, die auf Emojis und den Glitch-Effekt reduziert wurde. „Es ist sehr spannend zu sehen, woher die neue Ästhetik kommen wird. Generative KI ist wie ein zerbrochener Spiegel von uns.“

„Ich habe plötzlich meine Meinung darüber geändert, ob diese Dinger intelligenter sein werden als wir.“

Hinton wird am Mittwoch bei EmTech Digital sprechen.

ChatGPT hat Spekulationen über künstliche allgemeine Intelligenz ausgelöst. Aber die nächste echte Phase der KI wird in bestimmten Bereichen und Kontexten stattfinden.

Sehen Sie, wie Hinton mit Will Douglas Heaven, dem leitenden Redakteur für KI bei MIT Technology Review, bei EmTech Digital spricht.

Entdecken Sie Sonderangebote, Top-Storys, bevorstehende Veranstaltungen und mehr.

Vielen Dank für das Absenden Ihrer E-Mail!

Es sieht so aus, als wäre etwas schief gelaufen.

Beim Speichern Ihrer Einstellungen ist ein Problem aufgetreten. Versuchen Sie, diese Seite zu aktualisieren und sie noch einmal zu aktualisieren. Wenn Sie diese Nachricht weiterhin erhalten, wenden Sie sich an [email protected] mit einer Liste der Newsletter, die Sie erhalten möchten.