Исследовательское подразделение компании Meta Platforms представило новый генератор 3D Gen, который позволяет создавать качественные 3D-объекты по текстовому описанию.
По словам разработчиков, 3D Gen значительно превосходит аналогичные алгоритмы по качеству генерируемых объектов и в 3-10 раз опережает по скорости генерации. Нейросеть может создавать 3D-объекты и текстуры на основе простого текстового описания менее чем за минуту.
Функционально новый алгоритм похож на существующие системы, такие как Midjourney и Adobe Firefly. Отличие заключается в том, что 3D Gen создает модели, которые поддерживают физически корректный рендеринг.
«Высокое качество генерации возможно благодаря двухступенчатому методу. Он сочетает два компонента: один для преобразования текста в 3D, а другой — для преобразования текста в текстуры. Такой подход позволяет добиться более высокого качества 3D-генерации для создания иммерсивного контента», — говорится в описании алгоритма.
В работе 3D Gen использует две языковые модели Meta: AssetGen и TextureGen. В техническом описании модели содержатся детали работы и показаны результаты тестирования 3D Gen по сравнению с другими генераторами.
