Zeitlupe mit KI

Obwohl moderne Smartphones in der Lage sind, Videos mit bis zu 240 Bildern pro Sekunde im Zeitlupenmodus aufzunehmen, gibt es einige Hindernisse. Das größte davon ist der Mangel an Speicher auf dem Gerät und die hohe Leistungsanforderung, die den Akku schnell entleert.

Das Unternehmen Nvidia hat jedoch eine Lösung für dieses Problem gefunden. Es hat ein System entwickelt, das auf tiefem Lernen basiert und Videos von 30 Bildern auf bis zu 480 Bilder pro Sekunde transformiert. Diese Technologie ermöglicht es, Videos viel qualitativ hochwertiger zu verlangsamen als bei herkömmlicher Zeitlupe. Die Zeitlupentechnologie funktioniert auf der Grundlage von zwei konvolutionalen neuronalen Netzen – sie schließt die Zwischenstufen zwischen den einzelnen Bildern ein.

Das erste neuronale Netz sagt voraus, wie sich die Pixel von einem Bild zum nächsten bewegen, wodurch 2D-Vektoren dieser Verschiebungen erstellt werden.

Das zweite neuronale Netz, das die Sichtbarkeitskarte vorhersagt, schließt die Pixel aus, die von Objekten überdeckt werden sollten.
Aber auch wenn der Unterschied zwischen einem mit einem neuronalen Netz verlangsamen Video und einem mit einer professionellen Kamera im Zeitlupenmodus aufgenommenen Video deutlich erkennbar ist, handelt es sich um eine großartige Technologie mit vielversprechenden Anwendungsmöglichkeiten in der Zukunft.

Autor: Dmytro Molokoiedov

https://youtu.be/MjViy6kyiqs
Quelle: https://habr.com/post/414953/