Компания Meta объявила о запуске семейства открытых моделей искусственного интеллекта Llama 4. В серию вошли три модели: Scout, Maverick и Behemoth. Новые модели обладают нативной мультимодальностью, позволяющей работать с текстом, изображениями и видео в рамках единой архитектуры. Они обучались на «большом количестве немаркированных текстовых, графических и видеоданных» для обеспечения «широкого визуального понимания».
Успех ИИ-моделей китайской компании DeepSeek, которые работают наравне или превосходят флагманские алгоритмы Llama предыдущих поколений, подтолкнул Meta к ускорению процесса разработки в этом направлении. Meta утверждает, что Llama 4 — это первая серия ИИ-моделей, использующая архитектуру смешанных экспертов Mixture of Experts (MoE), которая более эффективна с точки зрения вычислений для обучения и ответа на запросы. Архитектуры MoE в основном разбивают задачи обработки данных на подзадачи, а затем делегируют их более мелким специализированным «экспертным» моделям.
Llama 4 Scout – это компактная модель с 17 млрд. активных параметров, 16 «экспертами» и 109 млрд. общих параметров. Ключевая особенность Scout заключается в поддержке контекстного окна в 10 млн. токенов, что примерно в 80 раз больше, чем у предыдущей версии Llama 3 (128 тыс. токенов). Это позволяет модели обрабатывать огромные объемы информации — целые книги, технические документации или многочасовые диалоги за один раз. Scout может работать на одном графическом ускорителе Nvidia H100, что делает ее доступной для широкого круга разработчиков. По данным Meta, ИИ-модель превосходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1 в обработке разных типов задач.
Llama 4 Maverick также имеет 17 млрд. активных параметров, но использует 128 «экспертов» и содержит в общей сложности 400 млрд. параметров. Контекстное окно составляет 1 млн. токенов. Для Maverick требуется система Nvidia H100 DGX или эквивалентная ей. По данным разработчиков, модель превосходит GPT-4o и Gemini 2.0 Flash при тестировании в разных бенчмарках, а также показывает сравнимые с DeepSeek V3 результаты при ведении рассуждений и в процессе написания программного кода.
Llama 4 Behemoth является самой мощной моделью, она имеет 288 млрд. активных параметров и 16 «экспертов» и около 2 трлн. общих параметров. По заявлению Meta, она превосходит алгоритм GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro по результатам тестирования в разных бенчмарках.
ИИ-модели Scout и Maverick уже доступны на сайте Llama.com и на Hugging Face, а Behemoth еще продолжает обучаться, поэтому она пока недоступна публично. Кроме того, ИИ-помощник Meta AI, интегрированный в WhatsApp, Messenger и Instagram, уже обновлен для использования Llama 4 в 40 странах мира.
