Компания Xiaomi выпустила свою первую языковую ИИ-модель MiMo с открытым исходным кодом, способную как рассуждать, так и делать математические вычисления и генерировать код.
MiMo содержит 7 млрд. параметров. По утверждению Xiaomi модель демонстрирует превосходство по быстродействию по сравнению с o1-mini OpenAI и Qwen от Alibaba. Но пока эти данные не подтверждены независимыми экспертами.
Разработкой занималась новая команда Xiaomi Big Model Core Team. Эффективность модели обеспечена за счет глубоко продуманной стратегии предобучения и обучения с подкреплением. А благодаря небольшому размеру, модель потенциально подходит для корпоративных клиентов и устройств с ограниченными ресурсами.
Для обучения использовалось 25 трлн. токенов и специализированный набор из 200 млрд. токенов рассуждений. Применялась продвинутая фильтрация данных, прогнозирование нескольких токенов и многоступенчатое смешивание обучающих выборок. Это позволило добиться высокой плотности логических шаблонов.
MiMo представлена в четырех версиях. Все модели имеют открытый исходный код и доступны на Hugging Face и GitHub. Запуск MiMo подчеркивает стратегическое стремление Xiaomi к развитию собственных ИИ-технологий и их интеграции в будущие продукты.
