Китайская Alibaba представила две языковые модели с открытым исходным кодом — Qwen Large Vision Language Model (Qwen-VL) и Qwen-VL-Chat, которые получили расширенные возможности интерпретации изображений и ведения диалогов на естественном языке. Исследователи, ученые и компании по всему миру смогут использовать их для создания собственных приложений, не прибегая к трудоемкому и дорогостоящему процессу обучения нейросетей с нуля.
Qwen-VL способна воспринимать и понимать изображения, текст и соблюдать ограничения. ИИ-модель может обрабатывать запросы, связанные с разными изображениями, и генерировать ответы на них. Qwen-VL-Chat предназначена для более сложного взаимодействия. Нейросеть может сравнивать несколько изображений, отвечать на серии вопросов, писать различные истории на основе предоставленных пользователем картинок. Например, пользователь может спросить ИИ о местоположении больницы по фото ее вывески и получить точный ответ на этот вопрос.
Отмечается, что представленные языковые модели работают с высокой точностью. По данным Alibaba, Qwen-VL и Qwen-VL-Chat значительно превосходят существующие схожие языковые модели с открытым исходным кодом по нескольким критериям оценки английского языка.
Специалисты компании оценили возможности новых алгоритмов при выполнении различных задач, начиная от генерации комментариев к изображениям и заканчивая ответами на вопросы по загруженным снимкам. Нейросети также тестировались по разработанному в Alibaba эталону, который основан на оценке GPT-4 для определения диалоговых возможностей и соответствия человеческому восприятию. Обе модели достигли наилучших результатов в разных категориях.
Следите за новостями в нашем Telegram-канале: https://t.me/infocity_az
