NVIDIA generativ süni intellekt sahəsində yeni texnologiyasını təqdim edib. Lyra 2.0 adlanan sistem adi bir fotoşəkil əsasında üçölçülü virtual mühit yarada bilir. Üstəlik, istifadəçi virtual kameranın hərəkətini idarə edərək dünyanı müxtəlif istiqamətlərdən araşdıra bilər. Sistem ətraf mühitin strukturunu qorumağa çalışır.
Texnologiya NVIDIA-nın Spatial Intelligence Lab adlı tədqiqat laboratoriyası tərəfindən hazırlanıb. Adi şəkil və video generatorlarından fərqli olaraq, Lyra 2.0 əvvəlcədən müəyyən edilmiş kadrlar ardıcıllığı yaratmaqla kifayətlənmir. İstifadəçi virtual mühitdə hərəkət etdikcə sistem səhnəni tədricən genişləndirir və yeni baxış bucaqları formalaşdırır.
Bu cür texnologiyaların əsas problemlərindən biri məkan bütövlüyünün qorunmasıdır. Məsələn, istifadəçi əvvəllər gördüyü yerə qayıtdıqda ətrafdakı obyektlərin mövqeyi və görünüşü dəyişə bilər. Lyra 2.0 bu problemin öhdəsindən gəlmək üçün xüsusi məkan yaddaşı mexanizmindən istifadə edir. Bu mexanizm səhnənin həndəsi quruluşunu nəzərə alaraq əvvəllər yaradılmış uyğun kadrları tapır. Bundan əlavə, model generasiya zamanı yığılan səhvləri düzəltmək üçün də öyrədilib.
Hazırlanan virtual mühitləri poliqonal torlara (polygon mesh) çevirmək mümkündür. Bu isə onları yalnız vizuallaşdırmaq deyil, həm də NVIDIA Isaac Sim daxil olmaqla, digər proqramlarda emal etmək imkanı yaradır.
NVIDIA modelin işləmə sürətini də optimallaşdırıb. Yüngülləşdirilmiş versiya generasiya prosesini əvvəlki 35 addım əvəzinə cəmi 4 addımda yerinə yetirir. Şirkətin tədqiqatına əsasən, GB200 sürətləndiricisində 80 kadrdan ibarət ardıcıllığın yaradılması yüngül versiyada təxminən 15 saniyə, tam versiyada isə 194 saniyə çəkir. Bununla belə, bu göstəricilər bütöv dünyanın real vaxt rejimində yaradılmasına deyil, ilkin generasiya prosesinin sürətinə aiddir.
Hələlik Lyra 2.0 əsasən statik mühitlər üçün nəzərdə tutulub. Dinamik səhnələrin tam şəkildə yaradılması isə texnologiyanın hələ həllini gözləyən problemlərindən biri olaraq qalır.
NVIDIA tədqiqat işini, layihənin mənbə kodunu və modelin çəkilərini açıq şəkildə yayımlayıb. Layihənin kodu artıq GitHub, modelin tənzimlənə bilən parametrləri isə Hugging Face platformasında əlçatandır.
