В 1906 году братья Майльз выпустили документальный фильм Поездка по Маркет-стрит, снятый в Сан-Франциско в начале XX века.
Спустя чуть более ста лет Денис Ширяев превратил фильм во что-то ещё более волшебное.
Используя различные алгоритмы, Ширяев раскрасил видео, увеличил резкость пленки до 4K, а количество FPS до 60.
https://www.iphones.ru/wp-content/uploads/2020/08/3428234834289-2.mp4
Это нельзя назвать реставрацией фильма, поскольку алгоритмы не только избавляют картинку от недостатков, но еще добавляют недостающие детали, которые изначально отсутствовали на пленке.
Мы называем это улучшением, потому что тренируем нейросети. И когда нейросети перерисовывают изображения, они добавляют новый слой данных. Следовательно, колоризация является улучшением. Апскейлинг — это улучшение. Кадровая интерполяция — это улучшение.
Алгоритм DeOldify отвечает за цветокоррекцию. Он был обучен на 14 миллионах изображений, чтобы понять, как обычно выглядят различные предметы.
DeOldify распознает определенные объекты, например, траву, деревья и людей в разной одежде. Исходя из своей базы знаний, он автоматически заменяет черно-белые участки на цветные.
Алгоритм не идеален. Он хорошо работает только с объектами, на которых обучался, поэтому бывают ситуации, когда DeOldify подбирает неправильный цвет. Особенно эта проблема характерна для флагов.
https://www.iphones.ru/wp-content/uploads/2020/08/213523519239-1.mp4
Апскейлингом, то есть увеличением разрешения, занимается ESRGAN. Для его обучения использовались парные изображения: одно низкого качества, а другое высокого.
В видео ESRGAN анализирует каждый пиксель и на основе своей базы масштабирует картинку.
Конечно, сверхчетких деталей ждать не стоит, но надписи и крупные объекты выглядят вполне прилично.
https://www.iphones.ru/wp-content/uploads/2020/08/3293292309-1.mp4
Алгоритм DAIN для интерполяции кадров, ищет взаимосвязь между заданным кадром и следующим. Затем он анализирует, как различные объекты меняют положение от одного кадра к другому.
DAIN также может «изучить» современный фильм и увеличить количество FPS с 30 до безумных 480.
https://www.iphones.ru/wp-content/uploads/2020/08/235345234-1.mp4
Ширяев обрабатывал видео в свободное время. По его словам, в первую очередь он хочет показать, на что способны современные модели машинного обучения.
В общем, я предположил, что если найти на ютубе все черно-белые видео, убрать из них художественные, оставив только документальные, и выбрать там самое популярное видео по просмотрам, оно может стать еще популярнее чем видео с поездом – так я наткнулся на видео с NYC 1911. Гипотеза подтвердилась и оно вызвало еще большую волну в плане хайпа, которую лениво расписывать.
Источник:
