Компания Nvidia представила ИИ-модель Nemotron 3.5 Transcribe с открытыми весами, которая выводит распознавание речи, перевод и анализ аудиозаписей на новый уровень. Инструмент способен распознавать речь на 40 языках, переводить с 31 языка на английский и обратно, а также идентифицировать говорящих на 13 языках. Модель эффективно справляется с обработкой аудиозаписей продолжительностью до одного часа, в которых участвуют до восьми человек, причем система не теряется, даже если собеседники перебивают друг друга. С помощью текстовых инструкций пользователи могут не просто получить точную расшифровку с указанием спикеров, но и мгновенно перевести текст, сгенерировать краткое изложение принятых решений или получить ответы на конкретные вопросы по содержанию беседы. При этом ИИ можно направлять с помощью подсказок, передавая ему специфические технические термины или сложные названия лекарств.
Высокая эффективность архитектуры позволяет запускать Nemotron 3.5 Transcribe на относительно скромном оборудовании. При общем количестве параметров в 30 млрд., во время обработки каждого фрагмента данных активными остаются всего около 4 млрд., благодаря чему модель способна работать даже на одной видеокарте, например, на компактной DGX Spark. В то же время на флагманском оборудовании RTX PRO 6000 Blackwell Server Edition производительность возрастает до впечатляющих масштабов, позволяя обработать 100 часов аудио менее чем за три минуты при использовании формата NVFP4. Высокую скорость работы подтверждают и независимые тесты.
В частности, на платформе Hugging Face в тесте Open ASR Leaderboard новинка заняла первое место среди моделей с открытыми весами со средней долей ошибок распознавания слов всего в 5,33%. Бенчмарк Artificial Analysis зафиксировал показатель ошибок на уровне 2,81%, что вплотную приближает разработку Nvidia к коммерческой модели Mistral Voxtral Small, имеющей в шесть раз больше активных параметров.
Особенно ярко Nemotron 3.5 Transcribe проявляет себя в задаче определения говорящих, уверенно обходя конкурентов. В тестировании VoiceArena на записях с одновременной речью нескольких участников модель заняла первое место среди 14 систем, показав долю пропущенных слов в 8,32% против медианного значения около 31% у других участников.
В тесте David AI, оценивающем точность на 21 языке, разработка Nvidia также стала лучшей, слегка опередив даже специализированную Nemotron 3 Diarization.
Параллельно с моделью компания выпустила масштабный набор данных Granary v2, содержащий около 844 тысяч часов аудиозаписей на 48 языках, что значительно превосходит предыдущую версию с ее 643 тысячами часов на 25 языках. Эти записи доступны в нескольких вариантах расшифровки, включая дословный формат с сохранением слов-паразитов и версии с текстовой записью чисел.
Модель Nvidia Nemotron 3.5 Transcribe и датасет уже открыты для сообщества на Hugging Face, однако пользователям стоит учитывать, что возможности системы могут различаться в зависимости от выбранного языка. Кроме того, поскольку инструмент оптимизирован для обработки готовых записей, а не потокового аудио в реальном времени, разработчики рекомендуют дополнительно проверять имена спикеров и точные моменты смены говорящих на финальном этапе.
