Компания Google представила мультимодальную ИИ-модель Gemma 4 12B, которая рассчитана на локальный запуск на ноутбуках и других устройствах с ограниченными вычислительными ресурсами. Как сообщается в блоге компании, модель позиционируется как промежуточное звено между базовой версией E4B и более продвинутой моделью 26B, базирующейся на архитектуре Mixture of Experts (MoE).
Разработчики заявляют, что система способна работать без традиционных отдельных энкодеров для обработки изображений и аудио. В Gemma 4 12B данные обрабатываются напрямую, благодаря чему уменьшаются время задержки и требования к объему памяти.
В случае обработки изображений отдельный vision-энкодер заменен легким модулем на основе матричных преобразований и позиционного кодирования, что снижает вычислительные затраты. Что касается аудио, то этот процесс был дополнительно упрощен путем полного удаления аудиоэнкодера и проецирования необработанного сигнала в единое пространство с текстовыми токенами.
Несмотря на упрощенную архитектуру, Gemma 4 12B демонстрирует производительность, близкую к более крупной модели с 26 млрд. параметров на стандартных бенчмарках. При этом ее требования к памяти существенно ниже, что позволяет запускать систему локально на устройствах с 16 Gb видеопамяти или унифицированной памяти. Вдобавок модель может становиться основой для ИИ-агентов, поскольку умеет вызывать внешние функции.
В числе других особенностей — контекстное окно в 256 тыс. токенов, режим пошагового размышления и свободная лицензия Apache 2.0. Модель также поддерживает механизм Multi-Token Prediction (MTP), который снижает задержки при генерации текста, и ориентирована на агентные сценарии использования, включая выполнение сложных задач.
Согласно внутренним тестам Google, Gemma 4 12B набирает 77,2% в бенчмарке MLU Pro и 78,8% в GPQA Diamond. Новая LLM уже доступна на платформах Hugging Face, Ollama, Kaggle, Google AI Edge Eloquent и LM Studio.
Google отмечает, что линейка Gemma уже достигла более 150 млн. загрузок в сообществе разработчиков. На ее основе создавались различные проекты — от носимых роботизированных систем до корпоративных решений в области кибербезопасности.
