Die ersten KI-Modelle zur Videobearbeitung – GEN-1 (Runway)

Wie ich kürzlich vorhergesagt habe, werden bald Modelle zur Videobearbeitung veröffentlicht. Ein erster Schritt ist Gen-1.

Das Unternehmen Runway AI hat am sechsten Februar Gen-1 veröffentlicht, ein neues neuronales Netzwerk, das zur Generierung von Videos auf der Grundlage von Texteingaben entwickelt wurde. Stellen Sie sich es wie Dall-E, Midjourney oder Stable Diffusion vor, nur dass es anstelle von Bildern direkt Videos generiert. Es handelt sich um ein Diffusionsmodell zur Generierung basierend auf visuellen oder textuellen Beschreibungen. Das Modell Gen-1 generiert also kein Video nur aus einer textlichen Beschreibung. Es benötigt ein Beispielvideo als Eingabe, das es dann gemäß Ihrer textlichen Beschreibung oder Ihres Bildes anpasst.

Im Paper werden 4 Hauptfunktionen beschrieben:

1. Stilisierung – Das Modell passt das Video an den Stil Ihres Bildes an.

2. Storyboard-Erstellung – Anstelle von Platzhalterobjekten generiert es etwas, das Sie im Video benötigen.

3. Maskierung – Es findet Objekte im Video und passt diese nach Ihren Wünschen an.

4. Rendering – Es verbessert das grundlegende 3D-Modell mit neuen Texturen, Licht und Schatten.

Das Modell ist leider noch nicht zum Ausprobieren verfügbar, aber Sie können sich auf die Warteliste setzen lassen oder Beispielvideos ansehen.

Quellen: https://research.runwayml.com/gen1?utm_source=RunwaySocial&utm_medium=YouTube&utm_campaign=Gen1Launch&fbclid=IwAR3EcBFdqi1tPzu4VGFXk5UNzDrPxGu7SleBjXpf4a0EQWOuhEn_24n7wTw

Paper: https://arxiv.org/abs/2302.03011?fbclid=IwAR1-5TosyxC5SRA9-yX-snZWF6efYAia9y_zMzwZFeTvQukqOzrj7IoiSDw

Warteliste: https://docs.google.com/forms/d/e/1FAIpQLSfU0O_i1dym30hEI33teAvCRQ1i8UrGgXd4BPrvBWaOnDgs9g/viewform?fbclid=IwAR24yZJ23XaGEyYwCo5ay_mCcSgAdYZ28hB9VwHEozGKv4IrUVDt6-xX_Ik

#Gen1 #video #Runway #diffusion