Компания Meta представила большую языковую модель нового поколения Llama 3. Разработчик отмечает, что это «наиболее функциональная LLM с открытым исходным кодом на сегодняшний день». Модель будет доступна в двух версиях: Llama 3 8B и Llama 3 70B соответственно с 8 и 70 миллиардами параметров. По словам компании, новые ИИ-модели значительно превосходят соответствующие модели прошлого поколения и являются одними из лучших моделей для генеративного ИИ из ныне существующих.

Llama 3 уже интегрирована в Meta AI, умного ассистента компании. Новые модели способны выполнять задачи в различных областях. Например, благодаря хорошему пониманию нюансов различных языков, Llama 3 может переводить тексты и генерировать диалоги. Судя по информации, опубликованной на сайте Meta, модель может легко справляться с многоэтапными задачами, а процент неточности уменьшен по сравнению с предыдущими версиями. Компания приводит результаты популярных тестов MMLU (знания), ARC (способность к обучению) и DROP (анализ фрагментов текста).

Llama 3 8B превосходит другие модели своего класса с открытым исходным кодом, такие как Mistral 7B от Mistral и Gemma 7B от Google с 7 миллиардами параметров, по крайней мере в девяти тестах: MMLU, ARC, DROP, GPQA (вопросы по биологии, физике и химии), HumanEval (тест на генерацию кода), GSM-8K (математические задачи), MATH (еще один математический тест), AGIEval (набор тестов на решение задач) и BIG-Bench Hard (оценка рассуждений на основе здравого смысла). При этом в некоторых тестах Llama 3 8B не показывает значимого превосходства над Mistral 7B и Gemma 7B.

Более продвинутую модель Llama 3 70B, Meta ставит в один ряд с другими флагманскими моделями для генеративных ИИ, включая Gemini 1.5 Pro — самую продвинутую в линейке Gemini от Google. Llama 3 70B опережает Gemini 1.5 Pro в тестах MMLU, HumanEval и GSM-8K, но уступает передовой модели Claude 3 Opus от Anthropic, превосходя лишь слабейшую модель серии, Sonnet, в пяти тестах: MMLU, GPQA, HumanEval, GSM-8K и MATH. Компания также разработала собственный набор тестов, от написания текстов и кода до обобщений и выводов, в котором Llama 3 70B обошла Mistral Medium, GPT-3.5 от OpenAI и Claude Sonnet от Anthropic.

Модели Llama 3 продемонстрировали выдающиеся результаты, обучаясь на двух специально созданных кластерах с 24 тысячами GPU на базе более чем в 15 триллионов токенов. ИИ способен поддерживая длину контекста в 8к, что в два раза больше, чем у Llama 2. Llama 3 используют значительно увеличенный набор данных. Meta заверяет, что все данные взяты из «общедоступных источников». При этом в наборе данных для обучения Llama 3 содержалось в четыре раза больше кода в сравнении с использованным для Llama 2, а 5% набора составляли данные на 30 отличных от английского языках, чтобы улучшить работу с ними. Кроме того, использовались синтетические данные, то есть полученные от других ИИ-моделей.

Meta встроила в новое поколение собственных ИИ-моделей несколько протоколов безопасности, таких как Llama Guard и CybersecEval, чтобы бороться с неправомерным использованием ИИ. Компания также выпустила специальный инструмент Code Shield для анализа безопасности кода открытых моделей генеративных ИИ, позволяющий обнаружить потенциальные уязвимости.