Geliştirilen yeni bir teknoloji ile adeta bir devrim yaşanıyor. Bir ABD merkezli şirket, dünyanın en küçük yapay zeka (YZ) süper bilgisayarını geliştirdiğini duyurdu. Yüksek performanslı donanım ve bol miktarda RAM ile donatılan bu cihaz, cebinize sığacak kadar küçük olmasına rağmen, adeta 'doktora düzeyinde zeka'ya sahip YZ modellerini çalıştırabiliyor. Bu, otonom problem çözme, soyut akıl yürütme ve stratejik planlama yetenekleri anlamına geliyor.
Üreticileri tarafından "AI Pocket Lab" olarak adlandırılan bu cihaz, internet bağlantısına ihtiyaç duymadan, karmaşık ve 120 milyar parametreli büyük dil modellerini (LLM) yerel olarak çalıştırabiliyor. Normalde bu tür sistemleri çalıştırmak için veri merkezi ölçeğinde altyapı gerekirken, "AI Pocket Lab" yerel olarak uzman düzeyinde kodlama yetenekleri, belge değerlendirme ve iyileştirme veya çok adımlı akıl yürütme gibi imkanlar sunuyor.
Cihaz, akıllı telefonlarda, dizüstü bilgisayarlarda ve tabletlerde yaygın olarak bulunan 12 çekirdekli bir ARM işlemci üzerine inşa edilmiş. Sadece 14.2 x 8 x 2.53 cm boyutlarına sahip olmasına rağmen, 80 GB LPDDR5X RAM barındırıyor. Karşılaştırma yapmak gerekirse, günümüzdeki çoğu dizüstü bilgisayar 8 GB ile 32 GB arasında RAM ile geliyor.
Bu RAM'in devasa 48 GB'ı, özellikle YZ ile ilgili hesaplamalar için optimize edilmiş bir çip olan sinir işlem birimi (NPU) için ayrılmış durumda. Intel ve AMD gibi şirketler, YZ iş yüklerini yönetmek ve Windows 11'deki YZ özelliklerini çalıştırmak için Microsoft'un saniyede 40 trilyon işlem (TOPS) eşiğini karşılamak üzere tasarlanmış özel NPU'lar içeren işlemciler üretiyor.
"AI Pocket Lab", özellikle 100 milyar parametrenin üzerindeki dil modellerinde yerel çıkarım gibi iş yüklerini çalıştırabilme yeteneği sayesinde, standart mini bilgisayar veya iş istasyonundan ziyade bir süper bilgisayar olarak nitelendiriliyor. Bu tür iş yükleri normalde çoklu GPU'ya sahip veri merkezi ölçekli sistemler gerektirir. Cihazın şu anda çalıştırabildiği modeller arasında GPT-OSS 120B, büyük Phi modelleri ve yüksek parametreli Llama ailesi modelleri bulunuyor.
Bu gelişme, dağıtık YZ işlemenin güç kısıtlamalarını ve çevresel etkisini azaltma çabalarının bir parçası olarak kenar bilişime yönelik son dönemdeki eğilimin bir göstergesi.
Cep Boyutunda Güç
Dünyanın en güçlü süper bilgisayarlarıyla rekabet etmekten uzak olsa da, "AI Pocket Lab" NPU'su ve CPU'su arasında toplam 190 TOPS'luk bir hesaplama gücü sunuyor. Bu, Nvidia'nın kısa süre önce duyurduğu Project Digits mini bilgisayarın ardından minyatürleşme alanında atılmış bir başka adıma işaret ediyor. Proje Digits kadar güçlü olmasa da, boyut olarak çok daha küçük.
Bu kadar gücü böylesine mütevazı bir kasaya sığdırmak için, üretici şirket bir dizi teknoloji ve optimizasyondan yararlanmış. Bunlardan en önemlisi, şirketin TurboSparse adını verdiği bir yenilik. Bu teknoloji, sistemin yalnızca o an ihtiyaç duyduğu model parçalarını kullanarak, büyük LLM'lerin daha sınırlı donanımlarda daha hızlı çalışmasını sağlıyor. Geleneksel modeller her kelime için tüm parametreleri kullanırken, TurboSparse modeli adım başına yalnızca belirli parametreleri kullanıyor.
Diğer önemli bir özellik ise cihazın CPU, GPU ve NPU'sunun heterojen zamanlamasına olanak tanıyan PowerInfer. Bu, her işlemciye yalnızca en iyi başa çıkabileceği iş yükünün verilmesi anlamına geliyor. Bu da tüm sistemi genel olarak daha verimli hale getiriyor ve güç tüketimini azaltıyor. PowerInfer ayrıca akıllı güç yönetimi de içeriyor; gereksiz hesaplamaları ortadan kaldırarak ne zaman tam güç gerektiğine ve ne zaman daha azıyla yetinilebileceğine karar veriyor.
Mini bir YZ süper bilgisayarının etkileri, çevreyi kirleten veri merkezlerine olan bağımlılığımızı azaltmanın ötesine geçiyor. Kullanıcıların bulut bağlantısı olmadan ve verileri üçüncü taraflarca işlenmeden sofistike bir LLM'nin gücünü konuşlandırabilmesi sayesinde gizlilik açısından da büyük bir avantaj sağlıyor. Aynı zamanda, uzak araştırma istasyonları, gemiler veya uçaklar gibi bağlantı menzilinin dışında kalan saha çalışmaları için de YZ erişimini mümkün kılıyor.
