На выставке CES 2025 глава Nvidia Дженсен Хуанг (Jensen Huang) представил платформу Cosmos World Foundation Models (WFM) с передовыми генеративными моделями для развития систем физического искусственного интеллекта, включая автономные транспортные средства и роботов. Как отмечается, платформа «сокращает разрыв между симуляцией и реальностью».
Платформа Cosmos предоставляет разработчикам возможность создавать большие объемы фотореалистичных синтетических данных на основе физических законов для обучения существующих моделей. Модели Cosmos будут доступны по открытой лицензии для ускорения работы сообщества разработчиков робототехники и автономного транспорта. Разработчики смогут настраивать модели с помощью различных наборов данных, таких как видеозаписи поездок автономных автомобилей или передвижения роботов по складу. Модели Cosmos WFM могут генерировать физически корректные видео на основе различных входных данных: текста, изображений, видео, а также данных с датчиков роботов или информации о движении.
Благодаря технологии обработки данных на базе Nvidia AI и CUDA, работающей на платформе Nvidia Blackwell, разработчики смогут обрабатывать, систематизировать и маркировать 20 млн. часов видео за 14 дней вместо 3,4 лет при использовании только CPU.
Среди компаний, внедривших Cosmos, ведущие производители роботов и автомобилей, включая 1X, Figure AI, Foretellix, Fourier, Galbot, Hillbot, IntBot, Neura Robotics, SkildAI, XPENG, а также Uber, Waabi и Wayve.
Компания 1X, специализирующаяся на человекоподобных роботах, уже запустила набор данных 1X World Model Challenge с использованием Cosmos Tokenizer. XPENG планирует использовать Cosmos для ускорения разработки своего робота, а Hillbot и SkildAI применяют платформу для создания роботов общего назначения. Uber заключил партнерское соглашение с Nvidia с целью ускорения развития автономной мобильности. Большие наборы данных о вождении, предоставленные Uber, в сочетании с возможностями платформы Cosmos и облака Nvidia DGX, помогут разработать более сильные модели искусственного интеллекта. Waabi планирует использовать Cosmos для поиска и обработки видеоданных при разработке программного обеспечения для автономных транспортных средств. Wayve рассматривает возможность применения Cosmos для поиска сложных сценариев вождения.
Открытая платформа Cosmos включает в себя защитные механизмы, а также инструмент для улучшения текстовых запросов для повышения точности. Видеоролики, сгенерированные с помощью моделей Cosmos на основе API-каталога Nvidia, содержат водяные знаки для идентификации контента, сгенерированного искусственным интеллектом.
