Beschreibung
Im Wintersemester 24/25 wollten wir mit unserem Kursprojekt etwas Neues ausprobieren und entschieden uns daher, eine KI-Influencerin zu erschaffen. Als Mikka posteten wir zahlreiche mithilfe von KI erstellte TikTok Videos auf dem Kanal mikkainmotion.
Behind the scenes
Zu Beginn des Semesters investierten wir viel Zeit in die Konzeption der Charaktere – ihre Hintergrundgeschichten, Namen und Designs. Schließlich fiel unsere Wahl auf Mikka, ein Mädchen mit zwei blauen, messy Pigtails, und ihr riesiges Haustier, das Chamäleon Pixel. Zwischen diesen beiden Charakteren erkannten wir eine gute Dynamik sowie Potenzial für interessante und witzige Geschichten. Aufgrund von Zeitmangel konnten wir diese jedoch größtenteils nicht umsetzen.
Nach der Konzeptphase wollten wir möglichst schnell Workflows austesten und erste Videos hochladen. Zunächst experimentierten wir mit verschiedenen Videotools und Workflows, um unser in ComfyUI generiertes Bild von Mikka zum Leben zu erwecken. Der Workflow, der für uns am besten funktionierte, bestand darin, Mikkas Headshot zunächst in Photoshop outzupainten. Anschließend konnten wir ihr Ganzkörperbild in ComfyUI verwenden, um sie mithilfe von IDM-VTON mit beliebiger Kleidung auszustatten. Je nach Inputbild funktionierte das unterschiedlich gut – insbesondere Muster wurden häufig verändert.
Wichtig war uns zudem, trendgerechten Content zu produzieren, um möglichst relevant zu bleiben. Deshalb investierten wir viel Zeit in Recherche, lernten Tänze und erstellten Input-Videos.
Nachdem Mikka angezogen war und eine Bewegung definiert wurde, kam die Plattform Viggle ins Spiel. Dort luden wir sowohl eine Bewegungsreferenz als auch ein Bild von Mikka hoch, um ein animiertes Video mit ihr vor einem Greenscreen zu erhalten. Dabei traten jedoch einige Probleme auf – insbesondere, wenn die Person im Inputvideo angeschnitten war. Im generierten Video sah Mikkas Gesicht manchmal anders aus, und vor allem ihre Haare wirkten unnatürlich.
Um diese Details zu verbessern, bearbeiteten wir das Video anschließend in ComfyUI mit einem Refiner weiter, wodurch vor allem Mikkas Haare realistischer aussahen. Dabei mussten wir viel mit den Einstellungen experimentieren, da insbesondere Muster im Laufe des Videos verändert wurden. Durch den Refiner wirkte Mikkas Gesicht jedoch nicht mehr wie ihr eigenes, weshalb wir zusätzlich einen Faceswap mit FaceFusion durchführten. Nach anfänglichen Problemen funktionierte dies sehr gut, sobald wir die Einstellungen optimiert hatten und wussten, welche Bewegungen in den Inputvideos zu vermeiden waren.
Zuletzt benötigten wir noch einen passenden Hintergrund. Dazu erstellten wir grob eine Raumstruktur in Blender, aus der wir Ausschnitte entnahmen, um sie in ComfyUI mit Farben, Texturen und Licht zu rendern. Mithilfe von After Effects keyten wir anschließend den Greenscreen heraus und fügten unseren generierten Hintergrund ein.
Das fertige Video war nun bereit für den Upload auf TikTok.
Neben Viggle experimentierten wir auch mit MimicMotion in ComfyUI. Auch hier konnte eine Bewegungsreferenz und ein Bild angegeben werden, um die Bewegung darauf zu übertragen. Beide Optionen hatten ihre eigenen Vor- und Nachteile – für manche Inputbilder funktionierte die eine Methode besser, für andere die andere. In MimicMotion bewegten sich die Kleidung und Haare natürlicher mit, jedoch gab es größere Probleme mit den Inputvideos.
Auch für das Chamäleon Pixel führten wir viele Experimente durch. Zunächst wollten wir seinen Look definieren und verwendeten dafür einen Styleswap-Workflow in ComfyUI, um ein 3D-gerendertes-Chamäleon realistisch aussehen zu lassen. Nach vielen Tests funktionierte das schließlich gut.
Wir versuchten zudem, ein 3D-Modell eines Chamäleons zu generieren, doch die Ergebnisse waren nur mäßig brauchbar. Daher entschieden wir uns schließlich, Pixel selbst zu sculpten und zu texturieren.
Einige unserer Videos wurden mit dem Videogenerator Vidu erstellt. Dort konnten wir die Charaktere als Input in die KI einspeisen und per Prompt beschreiben, welche Aktionen sie ausführen sollten. Manche Szenen überarbeiteten wir nachträglich und kombinierten verschiedene Charaktere, wobei uns das Remove-Background-Tool von RunwayML half. Zudem nutzten wir Runway auch, um Bilder zu animieren.
Kurz vor Ende des Semesters versuchten wir, Mikka realistischer wirken zu lassen, und entwickelten dafür einen Workflow in ComfyUI. Mit den zahlreichen generierten Bildern trainierten wir eine Flux LoRA, wodurch wir unzählige Bilder von Mikka in verschiedensten Szenarien generieren konnten.
Durch das Projekt konnten wir erstmals Erfahrungen als TikTok-Creator sammeln und Erkenntnisse gewinnen. Anfangs planten wir, täglich ein Video hochzuladen, um den Algorithmus bestmöglich zu nutzen. Doch schnell wurde uns klar, dass dies mit den wenigen Kursteilnehmern nicht umsetzbar war. Daher entschieden wir uns, alle zwei Tage ein Video zu posten.
Zunächst stiegen unsere View-Zahlen kontinuierlich, doch wir stellten bald fest, dass TikTok verstärkt auf bezahlte „Werbeprogramme“ setzt, um Reichweite zu generieren. Ohne diese war es schwer, höhere Aufrufzahlen zu erzielen.
Zusätzlich mussten wir feststellen, dass einige unserer Videos trotz harmloser Inhalte gesperrt oder eingeschränkt wurden. In vielen Fällen mussten wir Einspruch einlegen, um die Videos wieder freizugeben.
Verwendete KI´s
- Photoshop
- FaceFusion
- Viggle
- RunwayML
- Vidu
- Stable Diffusion/ComfyUI:
- MimicMotion
- IDM-VTON
- Florence
- Flux/FluxGym
