Исследователи из Adobe и Университета Мэриленда создали генеративную нейросетевую модель VideoGigaGAN, которая способна увеличивать разрешение видео в несколько раз, сохраняя при этом естественность изображения. Разработчики отказались от некоторых проблемных алгоритмов, в том числе тех, из-за которых картинка может размываться, что является наибольшей проблемой апскейлинга видео с использованием нейросетей.

Подписаться на iGuides в Telegram, чтобы узнать обо всем первым — t.me/iguides

В основу VideoGigaGAN легла технология, хорошо зарекомендовавшая себя в апскейлинге. К ней были добавлены компоненты, устраняющие мерцание и позволяющие уменьшить искажения, в результате чего был найден баланс, позволивший получить высокую детализацию без дорисовывания лишних деталей и размытия элементов в движении или при переходе от одного кадра к другому.



В Adobe уверены, что VideoGigaGAN показывает лучший результат в сравнении с другими генеративными моделям. С помощью этого инструмента можно реставрировать видео, которые сохранились только в низком разрешении или изначально были сняты некачественно, получая в результате запись с гораздо более высоким разрешением. Впрочем, эксперименты показывают, что нейросеть всё же может додумывать несуществующее детали: если взять видео с высоким разрешением, ухудшить его, а затем восстановить с помощью VideoGigaGAN и сравнить с оригиналом, будут видны отличия. Пока неизвестно, будет ли Adobe внедрять эту нейросеть в свои продукты, но кажется вполне логичным её появление в видеоредакторе Premier, где и так уже есть несколько ИИ-инструментов (например, для автоматического удаления объектов на видео). 

Подписаться на iGuides в Telegram, чтобы узнать обо всем первым