Искусственный интеллект и нейронные сети помогли пользователю Reddit превратить старый фильм в разрешение 4K с частотой 60 кадров в секунду.
Одним из самых известных клипов в истории кинематографа является короткометражный фильм «L’Arrivée d’un train à La Ciotat» (или «Прибытие поезда на станцию Ла-Сьота»), видео продолжительностью чуть более 50 секунд, снятое Братья Люмьер. Первоначально записанный в 1896 году, как вы понимаете, камеры того времени не записывали звук, поэтому движение изображения было уже подвигом. Теперь вы можете смотреть этот фильм в 4K при 60 кадрах в секунду.
AI заполнил пиксели, чтобы увеличить разрешение до 4K
Пользователь Reddit Денис Ширяев решил улучшить классика с помощью техники. Он начал масштабировать разрешение изображения до 4K с помощью инструмента под названием Гигапиксельный AI компании Topaz Labs.
Этот инструмент позволяет генерировать пиксели для увеличения размера исходного изображения для достижения более высокого разрешения с максимальной детализацией. Вы можете увидеть исходное видео ниже:
Помимо улучшения разрешения, ему удалось также увеличить частоту кадров. Что-то, что делает вывод более плавным.
Как видите, движение поезда и людей, идущих по сцене, выглядит идеально плавным. Практически нет перерывов в движениях, что отличает его от оригинала. Здесь искусственный интеллект используется для заполнения лишних кадров, поэтому конечный результат абсолютно гипнотический.
Для этого Ширяев использовал инструмент под названием DAIN, который выполняет серию сверхсложных процессов, заполняющих несуществующие дыры изображениями, идеально синхронизированными с остальной частью фильма.
Для этого инструмент «Анализируйте» анализирует изображения, чтобы определить визуальный поток сцены, контекст и ее глубину. Затем он генерирует тепловую карту, которая в итоге создает идеальное изображение для кадра.
А затем добавил звуки в качестве последнего штриха.