Türkiye'de teknoloji ve bilim dünyasının nabzını tutan Teknoscope olarak, yapay zeka alanında çığır açan bir gelişmeyi duyurmaktan heyecan duyuyoruz. Yapay zeka yazılım ve donanımında uzmanlaşmış bir şirket, 700 milyar parametreli büyük dil modellerini (LLM) yalnızca 240W güç tüketimiyle tek bir PCIe kart üzerinde çalıştırabilen yeni hızlandırıcısını tanıttı. Bu gelişme, devasa GPU kümelerine olan ihtiyacı ortadan kaldırarak, yerinde yapay zeka (On-Prem AI) çözümlerinde büyük bir dönüşüme işaret ediyor.
Yerinde Yapay Zeka Devrimi: Tek Bir Kart 700B LLM Destekliyor
Yeni tanıtılan HTX301 adlı bu PCIe AI hızlandırıcısı, özellikle yerinde yapay zeka uygulamaları için tasarlanmış. Kart, 250W altı güç tüketimiyle büyük ölçekli yapay zeka performansını kullanıcılara sunuyor. Bu yenilikçi çözümün öne çıkan özellikleri arasında şunlar bulunuyor:
- 700 milyar parametreli model çıkarımını tek bir PCIe kart üzerinde çalıştırma.
- Amaca yönelik deşifre hızlandırması ve birleşik ön hazırlık/deşifre orkestrasyonu.
- Veri egemenliği, deterministik gecikme ve sabit altyapı maliyeti ile yerinde yapay zeka kullanımı.
Şirketin açıklamalarına göre HTX301, HyperThought platformu üzerine inşa edilmiş ilk çıkarım çipi olma özelliğini taşıyor. Bu platform, yeni nesil LPU (Large Language Processing Unit) IP'leri ile LLM'ler için optimize edilmiş performans ve güç verimliliği sunuyor.
HTX301, standart bir PCIe kart görünümünde olup, üzerinde dağınık halde bellek bulunan tek bir çipe sahip. Her bir kartta altı adet HTX301 çipi bulunuyor. Daha eski 28 nm üretim süreci kullanılmasına rağmen, kartın sunduğu performans dikkat çekici. Örneğin, 100 GB/s bant genişliği ile sadece 0.5 TOPS gücünde 30 token/saniye hızına ulaşabiliyor. LPU ayrıca yüksek düzeyde ölçeklenebilirliğe sahip, bu da çeşitli tasarım seçeneklerine olanak tanıyor.
Sekiz çekirdekli LPU, Llama2 7B ön hazırlıkta 240 token/saniye hızına ulaşıyor. Şirket, ek olarak 700 milyar parametreli modellere kadar destekle, birden fazla çipi birleştirerek aynı LLM'de 1200 token/saniye hıza ulaşabildiğini belirtiyor.
Bu PCIe kartı, 384 GB'a kadar bellek kapasitesi sunuyor. Kart, gelişmiş çözümler yerine standart LPDDR4 ve LPDDR5 DRAM kullanıyor. Bu seçim, daha düşük parametre sayıları ve DRAM bant genişliği gereksinimleri için uygun bir çözüm olarak öne çıkıyor. HTX301 mimarisi, aşağıdaki gibi verimli sıkıştırma tekniklerini de kullanıyor:
- Ağırlık (uzun süreli bellek) sıkıştırması, açık kaynaklı llama.cpp'yi %9 ila %17.8 oranında geride bırakıyor.
- KV önbellek (kısa süreli bellek) sıkıştırması, minimum karmaşıklık kaybı ile (%0.06 ila %3.52 arasında) sağlanıyor.
Güç tüketimi de dikkat çekici bir özellik. Kart, yalnızca 240W güç tüketerek, sektördeki önde gelen PCIe AI hızlandırıcılarının (örneğin, rakip ürünlerin 600W güç tüketimiyle karşılaştırıldığında) yarısından daha az enerji harcıyor. Bu durum, özellikle enerji verimliliğinin önemli olduğu kurumsal ortamlar için büyük bir avantaj sağlıyor.
Şirket, Computex etkinliğinde HTX301'i sergileyeceğini duyurdu. Bu yeni gelişme, giriş seviyesi işletmelerin yapay zeka ihtiyaçları için bulut yerine yerel sunuculara yatırım yapmalarını teşvik edebilecek etkileyici bir çözüm olarak öne çıkıyor.
