В мае Facebook переименовала исследовательское подразделение Oculus Research в Facebook Reality Labs. Инженера лаборатории создали первый продукт, представив технологию зеркальной реконструкции.
При создании реалистической сцены одними из самых сложных элементов являются зеркала и стеклянные панели, которые не только отражают сцену, но и рассеивают по ней свет, оказывая серьёзное влияние на реалистичность. Facebook Reality Labs создала новый полностью автоматизированный метод создания отражающих поверхностей, которые обещает в подробностях обсудить с гостями конференции SIGGRAPH 2018.
«Если вы зайдёте в секцию зеркал в магазине домашнего декора и посмотрите вокруг, вы тут же увидите широкий диапазон форм и размеров — там почти нет двух одинаковых зеркал» — говорит научный сотрудник Томас Вилан (Thomas Whelan). «Нам очень быстро стало ясно, что нужно общее решение, которое не делает слишком много предположений о том, что было реконструировано. Мы действительно хотели найти решение, которое просто работает в реальных средах, потому что именно там это наиболее полезно».
«Вначале огромное разнообразие типов и форм зеркал ошеломляло», — пишет научный сотрудник Джулиан Страуб (Julian Straub). «Главной целью была разработка системы, которая могла бы обрабатывать большинство или все формы и размеры зеркал. Затем мы поняли, что система также будет работать со стеклянными поверхностями с небольшим дополнительным этапом классификации».
Исследователи узнали, что, идентифицируя зеркальные поверхности, они могут повторно нарисовать сцену с правильной геометрией и отражениями. Это привело к созданию специальной многокамерной установки, которая включала инфракрасную камеру определения глубины, цветную камеру RGB, две камеры SLAM, инфракрасный проектор и специальную мишень, которую система могла идентифицировать. Это позволило «понимать» границу зеркала даже без рамки.
Изучение построения зеркальных поверхностей и отражений, надеются в Facebook, позволит более точно фиксировать трёхмерные репрезентации пространства в таких областях, как робототехника и распознавание сцены. Подход можно расширить с целью создания более реалистичных и прогностических виртуальных сцен с отражениями более сложной геометрии, непланарными стеклянными поверхностями или полупрозрачными материалами, сообщает holographica.space.
