Компания Facebook в 2018 году представила функцию, позволяющую просматривать и публиковать 3D-фотографии. Однако эта функция основывается на двухпозиционном «портретном режиме», который доступен только в новых смартфонах высокого класса. Чтобы донести этот новый визуальный формат до большего количества людей, Facebook использовала самые современные методы машинного обучения для создания трехмерных фотографий практически из любой стандартной 2D-картинки. Эта система определяет трехмерную структуру любого изображения, будь то новый снимок, сделанный на устройстве Android или iOS с помощью стандартной одиночной камеры, или изображение десятилетней давности, недавно загруженное на смартфон или ноутбук.
Создание технологии потребовало преодоления множества технических проблем, таких как обучение модели, которая бы правильно определяла трехмерные позиции широкого спектра объектов, и оптимизация системы для работы на типичных мобильных процессорах за долю секунды.
Специалисты обучили сверточную нейронную сеть (CNN) на миллионах пар полноценных 3D-изображений, находящихся в открытом доступе, и сопровождающих их карт глубины и использовали ранее разработанные Facebook AI методы оптимизации FBNet и ChamNet.
Новую функцию 3D Photos уже можно опробовать в приложении Facebook на смартфонах iPhone и Android. Более подробно ознакомиться с созданием алгоритмов и примерами их работы можно в блоге компании.
