Разработчики OpenAI представили новую мощную языковую модель GPT-4o. Это улучшенная версия GPT-4, которую планируется интегрировать во все продукты компании в течение ближайших нескольких недель.
Буква «о» в названии GPT-4o означает omni (всесторонний), что указывает на мультимодальность модели. Она способна работать с текстом, аудио и видео. Среди прочего, модель может в реальном времени распознавать объекты на видео и поддержать беседу о них или ответить на вопросы. При этом доступ к новой нейросети будет бесплатным, но платные подписчики будут иметь «в пять раз больше возможностей». Разработчики, которые захотят поработать с GPT-4o, получат доступ к API, который вдвое дешевле и вдвое быстрее GPT-4-turbo.
В своем блоге компания опубликовала видео с разными сценариями использования, среди которых перевод в реальном времени, быстрый счет, генерация колыбельной, поздравление с днем рождения и другие. Голос нейросети похож на реальный.
По заявлению разработчиков, GPT-4o гораздо быстрее других моделей в контексте скорости генерации ответа. Модель моментально отвечает на голосовые команды пользователя, и не тратит несколько секунд на обработку.
GPT-4o способна «определять» эмоции пользователя, чтобы отвечать с разной интонацией. Среди прочего, она может говорить с сарказмом, голосом робота или петь. Разработчики отметили, что функция голосового общения пока доступна только ограниченному кругу клиентов «из-за риска неправильного использования». Также модель может работать в качестве переводчика в реальном времени. GPT-4o поддерживает 50 языков.
Кроме того, OpenAI обновила интерфейс фирменного чат-бота ChatGPT, а также добавила новые функции в приложение для MacOS: возможность анализа скриншотов и поддержку голосового ввода.
Ожидается, что на конференции WWDC 2024 в июне компания Apple объявит о сотрудничестве с OpenAI и внедрении ChatGPT на iPhone.
