Beschreibung
Im Verlauf des Semesters entwickelte sich die Idee, das Spiel im Geist einer Person mit multiplen Persönlichkeiten anzusiedeln. Jede Welt sollte dabei einer spezifischen Persönlichkeit entsprechen. Zudem hat die Hauptfigur Synästhesie, wodurch sie verschiedene Stimmen als Farben wahrnimmt. Der Spieler navigiert durch diese vielfältigen mentalen Landschaften, löst Rätsel und interagiert mit den Stimmen der Persönlichkeiten, die auch untereinander in Dialog treten.
Behind the Scenes
In diesem Semester wollten wir ein VR-Spiel entwickeln, das Gaussian Splatting und diverse KI-Tools integriert, um ein innovatives digitales Erlebnis zu erschaffen.
Zu Beginn experimentierten wir mit verschiedenen Gaussian Splatting Tools zur Erstellung unserer Splats. Besonders interessant war der Lucid Dreamer, der es ermöglicht, aus einem einzelnen Bild ein Splat zu generieren – ideal für die Kreation nicht-realistischer Splats. Allerdings erwies sich der Lucid Dreamer als unzuverlässig und brach häufig ab. Als Alternative versuchten wir, Videos aus Einzelbildern zu generieren, um ähnliche Ergebnisse mit Polycam zu erzielen. Dieser Ansatz brachte jedoch ebenfalls nur mäßigen Erfolg.
Um Gaussian Splatting in unser VR-Spiel zu implementieren, nutzten wir zunächst die Unreal Engine mit dem Luma AI Plugin. Anfängliche Renderingprobleme der Splats in VR führten uns zu Unity mit einem alternativen Plugin. Dieses erwies sich jedoch als rudimentär und leistungsschwach. Der Wechsel zurück zu Unreal brachte keine Verbesserung der Performance, sodass wir schließlich von der Verwendung des Gaussian Splatting Abstand nahmen.
Daraufhin konzentrierten wir uns auf die Entwicklung eines VR-Spiels mit KI-generierten Assets. Für deren Erstellung nutzten wir eine Vielzahl von KI-Tools, einschließlich Luma Genie, CSM, CRM, Unique 3D, TripoSR und TripoAI. Stable Projectorz ermöglichte uns die Neugenerierung und Anpassung von Texturen nach unseren Vorstellungen. Zur Unterstützung unserer grundlegenden Programmierkenntnisse zogen wir Claude und ChatGPT heran, was jedoch nur begrenzt erfolgreich war.
Für den Ton unseres Spiels nutzten wir Elevenlabs und Multi-voice-TTS-GPT-SoVITS zur Stimmengenerierung. Die Kreation von Musik und Soundeffekten erfolgte mittels MAGNet, AudioLDM-2, AudioGen, Stable Audio, Suno und Udio, um eine immersive Klanglandschaft zu erschaffen.
Durchgängig nutzten wir Stable Diffusion, durch ComfyUI, zur vielseitigen Bildgenerierung. Dies umfasste die Erstellung von Input-Bildern für das Gaussian Splatting, Vorlagen für Asset-Generierung sowie HDRIs, wodurch wir eine breite Palette visueller Elemente für unser Projekt erzeugen konnten.
Das Spielkonzept durchlief zahlreiche Iterationen, bei denen Setting, Handlung und Spielmechaniken stetig verfeinert wurden. Unsere ursprüngliche Vision umfasste eine Reise durch diverse Welten, jede mit einem einzigartigen Kunststil. Ein Kernelement sollte die Vielzahl an Portalen sein, die in den unterschiedlichsten Formen gestaltet waren und als Übergänge zwischen den Welten fungierten.
Verwendete KIs
- Lucid Dreamer
- CSM
- Unique3D
- CRM
- TripoSR
- Tripo AI
- Photoshop
- Stable Projectorz
- Claude
- ChatGPT 4o
- ElevenLabs
- Multi-voice-TTS-GPT-SoVITS
- MAGNet
- AudioLDM-2
- AudioGen
- Stable Audio
- Suno
- Udio
- Stable Diffusion/ComfyUI
- Luma Ai
