Unser erstes Musikvideo, das (fast) komplett mit KI erstellt wurde, ist online auf unserer Homepage.
Unsere Interpretation des Pink Floyd Titels "Confortably Numb" bot sich an für meinen ersten Versuch, ein Video mit KI zu erstellen. Unsere Cover ist eine Mischung aus der eher dystoptischen Variante von Roger Waters und der Live in Pompei dargebotenen Version von David Gillmour.
Total komfortabel betäubt - Der Titel hat mich bei der Musikauswahl inspiriert, als ich den Song als neue Cover in der Band vorgeschlagen habe. So komfortabel betäubt sind wir irgendwie doch alle. Es gibt ja auch genug schlechte Nachrichten, da kann man schon mal abstumpfen und sich im Serienmarathon, bei Chips und Bier, und leider auch zu oft mit ungesünderen Sachen zum Dahindösen und Wegschauen verabschieden.
Im Song gibt es dann den Erwecker oder Erweckerin, so genau war das nicht festzustellen. Und der gibt Dir ne Spritze zum Aufwachen und wieder hochkommen. Volle Drönung in die andere Richtung. Und am Ende, als auch diese Wirkung nachlässt, Die Schlussszene, wenn sich der Schleier lichtet.
Ich habe die KI machen lassen.
Musik aufnehmen, abmischen, mastern, wiedergeben, für mich kein Geheimnis. Aber ein Video mit KI erstellen? Wie geht das denn?
Es gibt bereits etliche Tools, mit denen Videos auf Basis von KI, also mittels neuronaler Netze erstellt werden können. Meine Wahl fiel auf KAIBER. Die Oberfläche erlaubt, ein Startbild hochzuladen, Musik dazu zu geben und mittels Textbefehlen, sogenannten Promts, den Stil und den weiteren Verlauf festzulegen, auf dessen Basis das initiale Bild weiter entwickelt wird. Über einige Parameter kann Geschwindigkeit der Bildfolgen und weitere Eigenschaften eingestellt werden. Leider gibt es das nuch noch im Abo. Monatlich kündbar und für die 10 Euro kann man in 4 Wochen schon so einiges produktiv rausziehen.
Da ich aber auch das initiale Bild nicht selbst vorgeben, sondern von KI entwickeln lassen wollte, musste zunächst ein Bild in Midjourney erstellt werden. Midjourney ist ein weiteres KI Modell, das Bilder auf Basis von Textprompts entwickelt. Es gibt auch andere gute Umgebungen wie Leonardo oder Blue Willow. Ich persönlich finde Midjourney ist nach wie vor die Nummer 1 was Bildqualität und Möglichkeiten angeht. Wichtig ist es, das richtige prompten zu lernen. Da gibt es massig youtube Material. Try und Error in der kostenlosen Testzeit verbraucht schnell die Coins und deshab erst mal youtube checken.
Doch auch der Textprompt für dieses initiale Bild sollte von KI kommen und da kam ChatGTP ins Spiel.
Das Video ist vollständig von KI entwickelt worden, der Stil, das Storyboard und die Schlüsselbilder. Der einzige Input war die Musik und die Lyrics.
Ich habe ChatGTP beauftragt, eine Interpretation des Songs zu erstellen und dann einen Textpromt für Midjourney zu entwickeln, der "die Moral von der Geschichte" dieser Interpretation in einem Bild beschreibt. Dann sollte die Maschine ein Storybook entlang des Songtextes im Einklang mit der Interpretation schreiben, für jeden Part des Songs je nach Länge ein bis zwei Szenen. Die Szenen sollten wiederum als Midjourney und KAIBER Prompts ausgegeben werden.
Bildergalerie 1: Keyframes für Kaiber
Um das ganze einheitlich zu gestalten, hat ChatGTP auch noch einen Bilderstil als Style Promt für Midjourney und Kaiber erstellt. Da waren unter anderem Stichworte wie 80er PopArt, psychedelic und dreamlike Journey enthalten.
Bildergalerie 2: aus einem Porträit von mir und zwei Midjourney Varianten wurde der oder die "große Erwecker*in" zusammengeträumt. Hat irgendwie was von Clockwork Orange.
Diese Bildbefehle habe ich dann der Reihe nach mit der zugehörigen Musik des jeweiligen Parts und dem Stylepromts in KAIBER geprompt. Die einzelnen von der KI ausgegebenen Szenen wurden danach in einem Videoeditor (Da Vinvi, kostenlos, sehr mächtig) zusammengesetzt und durch Übergänge und Overlays ergänzt. Dieses handwerklichen Schnitt und Composing Jobs am Ende waren tatsächlich mein einziges kreatives Zutun bei der Sache.
Es ist schon faszinierend, was sich die drei KIs für diesen Song zusammengeträumt haben.
Wenn Euch das Thema interessiert und Ihr mehr zu Videogestaltung mit KI oder auch Musikproduktion im MAD-MIX Studio erfahren wollt, fragt im Forum danach oder schreibt mich an.
Und nun viel Spaß beim Video.
Euer Claus
KI-Synapsenmasseur und Neuronen-Influencer im MAD-MIX Studio für angewandte Intelligenz.