Apple müasir süni intellekt modellərinin imkanları ilə bağlı yeni araşdırmasının nəticələrini dərc edib. Məlum olub ki, bəzi neyroşəbəkələrə insanın nə etdiyini başa düşmək üçün hətta kamera da lazım deyil.
“LLM-lərin multimodal sensor məlumatlarını birləşdirərək fəaliyyətin tanınması” adlı tədqiqat İA-nın müxtəlif sensorlardan gələn məlumatlarla qeyri-adi şəkildə necə işlədiyini izah edir.
Testlərin nəticəsinə görə, neyroşəbəkələr istifadəçinin səsinə və hərəkətlərinə əsaslanaraq onun aktivliyini yüksək dəqiqliklə müəyyən edə bilir — özü də əlavə təlim keçmədən.
Araşdırma zamanı LLM tam audio yazısı almırdı. Ona əvvəlcə digər modellər tərəfindən yaradılmış qısa mətn təsvirləri, həmçinin akselerometr və giroskopla toplanmış hərəkət trekinqi ötürülürdü.
Mütəxəssislər iş zamanı minlərlə saat real həyat səhnələrindən ibarət Ego4D məlumat bazasından istifadə ediblər — ev işlərindən tutmuş açıq havadakı aktiv fəaliyyətlərə qədər.
«Tədqiqat qrupu istifadəçinin gündəlik fəaliyyətlərini əks etdirən ayrıca məlumat toplusu da hazırlayıb. Buraya on iki müxtəlif fəaliyyət növünə aid 20 saniyəlik fraqmentlər daxil idi: elektrik süpürgəsi ilə təmizlik, yemək bişirmək, paltar yumaq, yemək yemək, basketbol, futbol, ev heyvanları ilə oynamaq, kitab oxumaq, kompüterdə işləmək, qab yumaq, televizora baxmaq, idman və ağır çəkilərlə məşq. Bu yanaşma geniş məlumat bazasında ən çox rast gəlinən ev və fitness fəaliyyətlərini əhatə etməyə imkan verib»,- deyə Apple tərtibatçıları bildiriblər.
Tədqiqatçılar əvvəlcə audio və hərəkət məlumatlarını kiçik modellərdən keçirərək mətn şəkilli subtitrlər və proqnozlar əldə ediblər, daha sonra bu məlumatları Gemini-2.5-pro və Qwen-32B adlanan böyük neyroşəbəkələrə ötürüblər.
İA-nın effektivliyi iki ssenaridə müqayisə edilib: “qapalı” rejimdə model 12 variantdan düzgün fəaliyyəti seçməli idi, “açıq” rejimdə isə heç bir siyahı təqdim olunmurdu. Rəqib modellərin nəticələri oxşar olub — dəqiqlik 58%-ə qədər çatıb.
Araşdırmanın yekunlarına görə, bir neçə İA modelinin birləşdirilməsi insan fəaliyyətini kamera olmadan belə daha dəqiq analiz etməyə imkan verir. Mütəxəssislər hesab edir ki, gələcəkdə bu yanaşma smartfonlar və ağıllı aksesuarlarda daha inkişaf etmiş monitorinq sistemlərinin yaradılmasına şərait yarada bilər.
