Wie ich kürzlich vorhersagte, werden bald Modelle zur Videobearbeitung veröffentlicht. Einer der ersten Schritte ist Gen-1.

Wie ich kürzlich vorhersagte, werden bald Modelle zur Videobearbeitung veröffentlicht. Einer der ersten Schritte ist Gen-1.
Das Unternehmen Runway AI hat am sechsten Februar Gen-1, ein neues neuronales Netzwerk zur Generierung von Videos basierend auf Texteingaben, veröffentlicht. Stellen Sie sich es wie Dall-E, Midjourney oder Stable Diffusion vor, nur dass es anstelle von Bildern direkt Videos generiert. Es handelt sich um ein Diffusionsmodell zur Generierung basierend auf visuellen oder textuellen Beschreibungen. Das Modell Gen-1 generiert also nicht nur Videos aus textuellen Beschreibungen. Es benötigt ein Beispielvideo als Eingabe, das es dann gemäß Ihrer textuellen Beschreibung oder Ihres Bildes anpasst.
Im Paper werden vier Hauptfunktionen beschrieben:
• Stilisierung – Das Modell passt das Video an den Stil Ihres Bildes an
• Storyboard-Erstellung – Anstelle von Platzhalterobjekten generiert es etwas, das Sie im Video benötigen
• Maskierung – Es findet Objekte im Video und passt diese nach Ihren Wünschen an
• Rendering – Es verbessert das grundlegende 3D-Modell mit neuen Texturen, Licht und Schatten
Das Modell ist leider noch nicht zum Ausprobieren verfügbar, aber Sie können sich auf die Warteliste setzen oder Beispielvideos ansehen.
Quellen:
https://research.runwayml.com/gen1?utm_source=RunwaySocial&utm_medium=YouTube&utm_campaign=Gen1Launch&fbclid=IwAR0j6ttNjoE0OETfWReSpk1utUtfax0mOzQgvyq8-4dtE064obrDoSBRrxM
Paper: https://arxiv.org/abs/2302.03011

#Gen1 #video #Runway #diffusion

Ursprünglich auf Facebook veröffentlicht — Link zum Post