В декабре прошлого года в Google Фото была добавлена замечательная новая функция: кинематографические фотографии. Их можно сгенерировать автоматически из приложения, щелкнув раздел недавних основных моментов.
Как кинематографические фотографии работают в Google Фото?
От Блог Google они хотели объяснить, как им удается придать фотографиям движение, создавая на них такой привлекательный 3D-эффект. Как всегда, они используют свои нейронные сети и вычислительный опыт.
Согласно Google, кинематографические фотографии хотят попытаться заставить пользователя заново пережить «ощущение погружения в момент, когда он сделал снимок», моделируя как движение камеры, так и 3D-параллакс. Как они превращают 2D-изображение в 3D-изображение?
Google использует свои нейронные сети, обученные на фотографиях, сделанных с помощью Pixel 4s, для оценки глубины резкости с помощью одного изображения RGB.
Google объясняет, что, как и в портретном режиме или в режиме дополненной реальности, кинематографические фотографии требуют карты глубины, чтобы дать информацию о трехмерной структуре. Чтобы добиться этого эффекта на любом сотовом телефоне, у которого нет двойной камеры, они обучили сверточную нейронную сеть предсказывать карту глубины по одному изображению RGB.
Имея только одну точку обзора (плоскость фотографии), он может оценить глубину фотографии с помощью монокулярных сигналов, таких как относительные размеры объектов, перспектива фотографии, размытие и т. Д. Чтобы сделать эту информацию более полной, они используют данные, собранные камерой Pixel 4, в сочетании с другими фотографиями, сделанными на профессиональные камеры командой Google.
Техника аналогична режиму «Пиксельный портрет»: изображение анализируется, сегментируется, и как только фон успешно изолирован, движение моделируется путем смещения фона. Это довольно сложно, так как требует нескольких исправлений и анализа фотографии, поскольку несколько неправильно истолкованных пикселей могут испортить конечный результат.
