Teknoloji meraklısı bir donanım tutkunu, dünyanın en büyük açık kaynaklı yapay zeka modellerinden birini, herhangi bir grafik işlemci (GPU) desteği olmadan, yalnızca bir CPU ile çalıştırarak inanılmaz bir başarıya imza attı. Bu olağanüstü deneyin sırrı ise, geleneksel sunucu DRAM'lerine göre çok daha uygun maliyetle devasa bellek kapasitesi sunan, artık üretilmeyen Intel Optane kalıcı bellek modülleri.
Bu ilginç deneyi paylaşan kullanıcı, 2.8 trilyon parametreli devasa bir Yapay Zeka modeli olan Moonshot AI'nin Kimi K3'ünü, 40 çekirdekli üçüncü nesil bir Intel Xeon Scalable işlemci üzerinde çalıştırdı.
Kimi K3, her bir token için yaklaşık 104 milyar parametreyi aktif hale getiriyor ve teorik olarak bir milyon tokene kadar bağlam penceresi sunuyor. Ancak, hafifçe sıkıştırılmış versiyonları bile yüzlerce gigabayt bellek gerektiriyor, bu da standart tüketici donanımlarının tüm modeli yerel olarak çalıştırmak için yetersiz kalmasına neden oluyor.
Eski Intel Optane Bellek Deneyi Mümkün Kılıyor
Yüksek kapasiteli DDR4 bellekler veya pahalı profesyonel GPU'lara servet harcamak yerine, donanım meraklısı, ikinci nesil Intel Optane Persistent Memory 200 Serisi, diğer adıyla Barlow Pass modüllerini tercih etti.
Bu modüller, her biri 512 GB kapasiteye varan kalıcı, bayt adreslenebilir bellek sağlıyor. Intel 2022'de Optane'in gelecekteki gelişiminden vazgeçmiş olsa da, ikinci el modüller bellek yoğun iş yükleriyle deney yapan meraklılar için hala ilginç bir alternatif olarak öne çıkıyor.
Optane'i App Direct modunda yapılandırarak llama.cpp kullanan geliştirici, GPU hızlandırmasına ihtiyaç duymadan modeli başarıyla yükledi. Bu yapılandırma, sistem DRAM'inin Optane için donanım tarafından yönetilen bir önbellek olarak işlev gördüğü geleneksel Bellek Modundan farklılaşıyor.
İlk performans sonuçları beklendiği gibi mütevazıydı; 1-bit kuantizasyon ile saniyede yalnızca 0.85 token elde edildi. Ancak, Direct Access (DAX) kapatıldığında verimlilik saniyede 1.50 tokene yükselerek yaklaşık %76'lık bir iyileşme sağlandı.
Bunun nedeni oldukça basit: DAX, işletim sisteminin sayfa önbelleğini atlıyor, kapatıldığında ise sık erişilen verilerin daha hızlı DRAM önbelleğinden faydalanmasını sağlıyor.
Ayrı bir 3-bit kuantizasyon testi yaklaşık olarak saniyede 0.75 token elde etti. Bu hızda, 50.000 token üretmek yaklaşık 18.5 saat sürecektir, bu da performansın ciddi şekilde ödünleştiğini gösteriyor. Ayrıca, agresif 1-bit kuantizasyon model doğruluğunu olumsuz etkileyebilir.
Intel Optane'in Isı Üretimi Başka Bir Büyük Sorun
Belki de en önemli bulgu, Intel'in kalıcı bellek modüllerinin termal davranışı hakkında. Sürekli çıkarım iş yükleri altında Optane DIMM'ler önemli miktarda ısı üretiyor. Intel'in spesifikasyonlarına göre, tek bir modül 18W'a kadar güç seviyelerinde çalışabiliyor ve 83°C'de termal kısıtlama başlarken, 85°C'de koruyucu kapanma meydana geliyor.
Donanım meraklısı, yetersiz hava akışının bitişikteki DDR4 ECC bellek modüllerini de tehdit edebileceği konusunda uyardı, ancak herhangi bir bellek arızası belgelenmedi.
Sorunu çözmek için geliştirici, doğrudan DIMM'lere yöneltilmiş iki adet özel 12W blower fan kurarak sıcaklıkları kontrol altına aldı.
Sınırlı performansa rağmen, bu deney, eski kurumsal donanımın modern yapay zeka iş yüklerinde nasıl alışılmadık uygulamalar bulabileceğini gösteriyor.
Geliştirici, çıkarım hızlarını iyileştirmek için GPU hızlandırması ve hibrit DRAM/Optane yapılandırmalarıyla deney yapmayı planlıyor. Bu optimizasyonların bu alışılmadık kurulumu gerçekten pratik hale getirip getirmeyeceği henüz görülmedi.
Kaynakça: wccftech.com
