Kişisel bilgisayarlarında Yapay Zeka (YZ) modellerini çalıştırmak isteyenler için sevindirici bir gelişme yaşanıyor. Yapay Zeka aboneliklerinin artan maliyeti ve veri gizliliği endişeleri, evdeki bilgisayarları 'laboratuvar' olarak kullanma trendini hızlandırıyor. Ancak, profesyonel düzeydeki YZ donanımları birçok kişi için ulaşılmaz durumda. Bu noktada, İtalyan mühendis Vincenzo, Colibrì adını verdiği yenilikçi bir yaklaşımla adından söz ettiriyor.
Vincenzo, yalnızca 25 GB RAM ve 1 GB/s hızında sanal bir depolama birimi kullanarak, 744 milyar parametreye sahip devasa 1.5 TB'lık GLM-5.2 modelini mütevazı bir bilgisayarda çalıştırmayı başardı. Bu, mevcut koşullarda YZ modellerinin ev kullanıcıları için erişilebilirliğini önemli ölçüde artırma potansiyeli taşıyor.
Colibrì'nin mevcut performansı, saniyede 0.05 ila 0.1 token gibi pratik kullanım için oldukça yavaş olsa da, bu durumun temel bir konsept kanıtı (proof-of-concept) olduğunu belirtmek önemli. Yüksek performanslı sistemler çok daha iyi sonuçlar verse de, bu altyapı dahi gerçek zamanlı kullanım için gereken saniyede 20-30 token seviyesine henüz ulaşamıyor.
Bununla birlikte, GLM-5.2 modelinin yapay zeka alanında öncü kabul edilen modellerle rekabet edebilecek yeteneklere sahip olması, Colibrì'nin sunduğu potansiyelin altını çiziyor. Vincenzo'nun ilk test sonuçları oldukça etkileyici görünüyor. Colibrì'nin çalışma mantığı, 'Uzmanlar Karışımı' (Mixture-of-Experts - MoE) adı verilen bir mimariyi temel alıyor. Bu model türünde, her bir kelime (token) için farklı görevlerde uzmanlaşmış yüzlerce küçük modelden en uygun olanı seçiliyor.
Normalde bu tür büyük modeller, veri merkezlerindeki güçlü GPU'lara yüklenirken, Colibrì bu MoE mimarisinden faydalanarak, her token için gereken uzmanları RAM'e yükleyip boşaltarak çalışıyor. Bu sayede, daha az güçlü bilgisayarların bile büyük modelleri kullanabilmesi mümkün oluyor. Performans kaybı olsa da, bu durum özellikle bütçe dostu çözümler arayanlar için cazip bir alternatif sunuyor.
Colibrì'nin bu yaklaşımı, özellikle depolama G/Ç (Giriş/Çıkış) ve bellek bant genişliği üzerinde önemli bir yük oluşturuyor. İlk darboğaz genellikle NVMe depolama hızından kaynaklanıyor. Depolama hızı yeterli olduğunda ise RAM limitleri devreye giriyor ve ardından daha fazla işlemci gücü ihtiyacı ortaya çıkıyor.
Şu an için Colibrì bir konsept aşamasında ve henüz GPU'lar üzerinde çalışmıyor. Ancak, bu projenin henüz yeni yayınlanmış olmasına rağmen büyük ilgi görmesi dikkat çekici. Vincenzo, performansı artırmaya yönelik çalışmalarına devam ediyor. İlgilenenler, projenin gelişimine katkıda bulunmak için ilgili depoyu ziyaret edebilirler. Belki de gelecekte, güçlü modelleri yüksek performanslı tüketici donanımlarında makul hızlarda çalıştırmak mümkün hale gelecek.
