На конференции GTC 2021 компания NVIDIA анонсировала технологическую платформу Omniverse Avatar на базе ИИ. Платформа предназначена для создания аватаров в реальном мире.
Разработка сочетает в себе ряд технологий в области компьютерного зрения, распознавания речи, 3D-графики и рекомендательных алгоритмов. Интерактивные аватары могут разговаривать на различные темы и понимать собеседников.
«Наступило время умных виртуальных помощников, — говорит Дженсен Хуанг, основатель и генеральный директор NVIDIA. Omniverse Avatar сочетает в себе основные технологии графики, моделирования и искусственного интеллекта от NVIDIA, позволяя создавать сложнейшие приложения, работающие в реальном времени. Сценарии использования готовых к сотрудничеству роботов и виртуальных помощников невероятны и перспективны».
На конференции были продемонстрированы несколько примеров. Сначала анимированная версия Дженсена Хуанга в реальном времени ответила на вопросы коллег из области биологии, астрономии и химии. Затем виртуальный помощник на кассе самообслуживания в ресторане быстрого питания рассказал посетителям о меню и уточнил состав выбранных блюд. Благодаря функции отслеживания лиц ассистент реагировал не только на речь людей, но и поддерживал зрительный контакт. Другой пример – был смоделировал аватар женщины во время сеанса видеосвязи в шумном кафе. Ее мимика и слова в реальном времени транслировались на немецкий, французский и испанский языки, передавая оригинальную интонацию без посторонних звуков.
Это стало возможно благодаря набору SDK NVIDIA Riva и языковой модели Megatron 530B. Все инструменты стали частью открытой платформы NVIDIA Omniverse, которая находится в стадии бета-тестирования и насчитывает около 70 тыс. пользователей.
В отличие от концепта «метавселенной» от Meta (бывшей Facebook), направленного на перенос встреч в виртуальную реальность, NVIDIA рассматривает взаимодействие аватаров и пользователей в реальном мире.
