Компания Microsoft выпустила три языковые и мультимодальные модели искусственного интеллекта линейки Phi-3.5. В серию входят модели Phi-3.5-mini, Phi-3.5-MoE и Phi-3.5-vision. Линейка поддерживает контекст длиной 128 тыс. токенов. В тестах новые модели не уступают, а иногда и превосходят такие конкурирующие продукты как Google Gemini 1.5 Flash, Meta Llama 3.1 и даже OpenAI GPT-4o. Все модели доступны на платформе Hugging Face по лицензии MIT.
Phi-3.5 Mini c 3,8 млрд. параметров оптимизирована для окружений с ограниченными вычислительными ресурсами. Модель справляется с такими задачами как генерация кода, решение математических задач и логические рассуждения. Phi-3.5-mini опережает Llama-3.1 8B и Mistral 7B, а также способна составить конкуренцию Mistral NeMo 12B. ИИ-модель обучили на 3,4 трлн. токенов с использованием 512 ускорителей Nvidia H100-80G.
Phi-3.5-MoE (Mixture of Experts) объединяет несколько моделей различного типа, каждая из которых специализируется на собственной задаче. Модель с 16 группами и 3,8 млрд. параметров использует 6,6 млрд. параметров. Она обучена на 4,9 трлн. токенов с применением 512 графических процессоров Nvidia H100-80G. Phi-3.5-MoE демонстрирует высокие результаты в математике, генерации кода и понимании многоязычных запросов, зачастую превосходя более крупные модели в некоторых тестах, включая RepoQA. В стандартных ИИ-тестах Phi-3.5-MoE превосходит Llama-3.1 8B, Gemma-2-9B и Gemini-1.5-Flash. Она также обошла GPT-4o mini в тесте MMLU (Massive Multitask Language Understanding) в области естественных и технических наук, а также гуманитарных и социальных дисциплин на разных уровнях знаний.
Phi-3.5-vision на 4,15 млрд. параметров предназначена для анализа изображений и видео. Она подходит для распознавания картинок и символов, анализа диаграмм и таблиц, а также составления сводок по видео. Модель была обучена на 500 млрд. токенов с применением 256 графических процессоров Nvidia A100-80G. Phi-3.5-vision улучшила производительность в MMMU с 40,2 до 43, в MMBench с 80,5 до 81,9, в TextVQA с 70,9 до 72.
