Xiaomi, özünün ilk açıq mənbəli dil modeli olan MiMo-nu təqdim edib. Bu model məntiqi düşünmə, riyazi hesablamalar aparma və kod yazma bacarığına malikdir. MiMo-7B modeli 7 milyard parametrə sahibdir və OpenAI və Alibaba kimi iri texnologiya şirkətlərinin modelləri ilə müqayisə oluna biləcək performans nümayiş etdirir.
Modelin inkişafına Xiaomi Big Model Core Team komandası rəhbərlik edib. MiMo-7B-nin yüksək effektivliyi, öncədən öyrədilmə və möhkəmləndirici öyrənmə strategiyalarının düzgün tətbiq olunması nəticəsində əldə edilib. Kiçik ölçüsü sayəsində bu model, həm korporativ müştərilər, həm də resursları məhdud olan cihazlar üçün uyğun gəlir.
- Öyrənmə prosesi:
25 trilyon token və 200 milyard məntiqə əsaslanan tokenlərdən istifadə olunub. Məlumatların qabaqcıl filtrasiyası və çoxlu token proqnozlaşdırma metodları tətbiq edilib. Modelə 130 min riyaziyyat və proqramlaşdırma tapşırığı verilib.
- Sürət və optimizasiya:
Seamless Rollout Engine sisteminin tətbiqi ilə öyrənmə sürəti 2,29 dəfə artıb, nəticə yoxlama sürəti 1,96 dəfə artıb, RL alqoritmlərinin stabilliyi isə yüksəlib.
- Versiyalar və açıq mənbə:
MiMo-7B-RL versiyası OpenAI-nin o1-mini modeli ilə müqayisə olunur. Bütün modellər açıq mənbəlidir və Hugging Face və GitHub platformalarında mövcuddur
