První modely AI pro úpravu VIDEÍ – GEN-1 (Runway)

Jak jsem nedávno předpovídal brzy začnou vycházet modely pro úpravu videí. Jedním z prvních krůčku je Gen-1.

Společnost Runway AI vydala šestého února Gen-1, novou neuronovou sít určenou pro generování videa na základě textového zadání. Představte si jí jako Dall-E, Midjourney nebo Stable Diffusion, jen místo toho, aby generovala obrázky generuje rovnou videa. Jedná se o diffusion model pro generování na základě vizuálního nebo textového popisu. Model Gen-1 tedy negeneruje video jen z textového popisu. Potřebuje na vstupu vzorové video, které následně podle vašeho textového popisku či obrázku upraví.

V paperu se mluví o 4 hlavních funkcích:

1. Stylizaci – model upraví video do stylu podle vašeho obrázku

2. Storyboarding – místo zástupných objektů vygeneruje něco, co ve videu potřebujete

3. Maskování – na videu najde objekty a ty podle vašeho přání upraví

4. Renderování – vylepší základní 3d model o nové textury, světla a stíny

Model zatím bohužel není na vyzkoušení, ale můžete se zapsat na čekací listinu nebo prohlédnout ukázková videa.

Zdroje: https://research.runwayml.com/gen1?utm_source=RunwaySocial&utm_medium=YouTube&utm_campaign=Gen1Launch&fbclid=IwAR3EcBFdqi1tPzu4VGFXk5UNzDrPxGu7SleBjXpf4a0EQWOuhEn_24n7wTw

Paper: https://arxiv.org/abs/2302.03011?fbclid=IwAR1-5TosyxC5SRA9-yX-snZWF6efYAia9y_zMzwZFeTvQukqOzrj7IoiSDw

Čekací listina: https://docs.google.com/forms/d/e/1FAIpQLSfU0O_i1dym30hEI33teAvCRQ1i8UrGgXd4BPrvBWaOnDgs9g/viewform?fbclid=IwAR24yZJ23XaGEyYwCo5ay_mCcSgAdYZ28hB9VwHEozGKv4IrUVDt6-xX_Ik

#Gen1 #video #Runway #diffusion