Projektbeschreibung
Die Generierung von Bildern und Videos dauern meistens mehrere Minuten. In der
Zukunft werden die Modelle schneller und leistungsfähiger und bieten neue Anwendungsgebiete. So kann an einem Filmset direkt mit AI der Film gedreht werden ohne teure Hintergründe oder Schauspieler. Auch kann die Szenenplanung durch kleinere Modellierung besser geplant werden. Ein erster Einblick bietet dieses Projekt.
In den Experimentelle Projekt wird ein Webcambild eingelesen. Das Webcambild wird durch das AI-Model Midas von Intel in eine Depthmap gewandelt. Ausgehend von der Depthmap wird ein ComfyUI Workflow geladen und die Depthmap mit einem Prompt an den ComfyUI-Server übergeben. Dieser führt, denn Workflow aus, lädt die Modelle und gibt das generierte Bild zurück. Dieses wird dann ausgegeben.
Projektvorschau
Verwendete Modelle
Depthmap-Model von Intel: Midas large
In ComfyUI-Workflow:
Diffusion Model inkusive VAE und Clip: sd_xl_turbo_1.0_fp16
Controlnet: Controlnet-depth-sdxl-1.0-small
Installation
Python
Python Download (Python 3.12.03): https://www.python.org/downloads/
Python Venv:
Scripts Nachinstallieren:
- Windows Bash -> Pfad zum Projekt (../Live_Webcam_Prompting)
- Venv erstellen -> python -m venv venv
- Venv aktivieren Powershell -> venv\Scripts\Activate.ps1
Zusätliche Installation für ComfyUI-Server für komunikation (in aktivierten venv)
pip install opencv-python
pip install torch
pip install numpy
pip install pillow
pip install cupy-cuda12x
pip install requests
pip install diffusers
pip install websocket-client
pip install timm
Midas herunterladen
Midas Download -> https://github.com/isl-
org/MiDaS/releases/download/v3_1/dpt_beit_large_512.pt
Plaziere diese datei in models/midas
Benenne die Datei in midas_dpt_large.pth um.
ComfyUI Portable
Lade ComfyUI (Version 0.6.0): (https://github.com/Comfy-Org/ComfyUI/)
herunter und installiere es.
Folge dazu der Anleitung der Github-Page
Bild Generierungsmodelle
Bildmodel herunterladen:
Diffusion Model herunterladen und Plazien in ..\ComfyUI\models\checkpoints
https://huggingface.co/stabilityai/sdxl-
turbo/resolve/main/sd_xl_turbo_1.0_fp16.safetensors
Deapthmap herunterladen und Plazien in …\ComfyUI\models\controlnet
https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0-
small/blob/main/diffusion_pytorch_model.fp16.safetensors
