Jak jsem nedávno předpovídal brzy začnou vycházet modely pro úpravu videí. Jedním z prvních krůčku je Gen-1.

Jak jsem nedávno předpovídal brzy začnou vycházet modely pro úpravu videí. Jedním z prvních krůčku je Gen-1. Společnost Runway AI vydala šestého února Gen-1, novou neuronovou sít určenou pro generování videa na základě textového zadání. Představte si jí jako Dall-E, Midjourney nebo Stable Diffusion, jen místo toho, aby generovala obrázky generuje rovnou videa. Jedná se o diffusion model pro generování na základě vizuálního nebo textového popisu. Model Gen-1 tedy negeneruje video jen z textového popisu. Potřebuje na vstupu vzorové video, které následně podle vašeho textového popisku či obrázku upraví. V paperu se mluví o 4 hlavních funkcích: • Stylizaci – model upraví video do stylu podle vašeho obrázku • Storyboarding – místo zástupných objektů vygeneruje něco, co ve videu potřebujete • Maskování –na videu najde objekty a ty podle vašeho přání upraví • Renderování – vylepší základní 3d model o nové textury, světla a stíny Model zatím bohužel není na vyzkoušení, ale můžete se zapsat na čekací listinu nebo prohlédnout ukázková videa. Zdroje: https://research.runwayml.com/gen1?utm_source=RunwaySocial&utm_medium=YouTube&utm_campaign=Gen1Launch&fbclid=IwAR0j6ttNjoE0OETfWReSpk1utUtfax0mOzQgvyq8-4dtE064obrDoSBRrxM Paper: https://arxiv.org/abs/2302.03011

#Gen1 #video #Runway #diffusion

Původně publikováno na Facebooku — odkaz na post