Yapay zeka (YZ) işlemleri için kullanılan sistemlerin enerji tüketimi konusundaki endişeler artarken, büyük ölçekli bulut hizmet sağlayıcısı Cloudflare, Nvidia ve AMD dışındaki YZ hızlandırıcılarını test etmeye başladı. Bu kapsamda, şirket yakın zamanda Positron AI'ın Atlas çözümünü denemeye başladı. Positron AI, Nvidia'nın H200 modelini güç tüketiminin sadece üçte biriyle geride bırakmayı vadeden bir ürün sunuyor.
2023 yılında kurulan ve yalnızca YZ çıkarımı (inference) odaklı hızlandırıcılar geliştiren ABD merkezli Positron AI, ilk nesil büyük ölçekli transformatör modelleri için tasarladığı ürüne Atlas adını veriyor. Sekiz adet Archer hızlandırıcıyı barındıran Atlas, Nvidia'nın Hopper tabanlı sistemlerini daha az güç tüketerek geride bırakacak şekilde tasarlanmış.
Positron AI'ın kendi karşılaştırmalarına göre, Atlas, Llama 3.1 8B modelinde BF16 hesaplama gücüyle kullanıcı başına saniyede yaklaşık 280 token sunabiliyor. Aynı senaryoda Nvidia'nın 8 çekirdekli DGX H200 sunucusu ise yalnızca kullanıcı başına saniyede 180 tokena ulaşırken, 5900W gibi yüksek bir güç tüketiyor. Bu veriler, Atlas'ı performans-watt ve performans-dolar bazında Nvidia DGX H200 sistemine göre üç kat daha verimli hale getiriyor. Ancak bu iddiaların bağımsız kuruluşlarca doğrulanması gerekiyor.
Positron AI'ın ASIC donanımını ABD'deki TSMC Fab 21'de (N4 veya N5 işlem teknolojisiyle) ürettiği ve kartların ABD'de monte edildiği belirtiliyor. Bu durum, ürünün büyük ölçüde Amerikan menşeli olmasını sağlıyor. Ancak, ASIC'in 32GB HBM bellek ile entegre edilmesi, gelişmiş paketleme teknolojisi gerektirdiğinden, muhtemelen Tayvan'da monte ediliyor.
Positron AI'ın Atlas sistemleri ve Archer AI hızlandırıcıları, Hugging Face gibi yaygın kullanılan YZ araçlarıyla uyumlu. Ayrıca, OpenAI API ile uyumlu bir uç nokta üzerinden çıkarım isteklerini karşılayarak, kullanıcıların mevcut iş akışlarında büyük değişiklikler yapmadan bu yeni donanımları benimsemelerini kolaylaştırıyor.
Şirket, Valor Equity Partners, Atreides Management ve DFJ Growth gibi yatırımcıların liderliğindeki son 51.6 milyon dolarlık Seri A finansman turu dahil olmak üzere toplamda 75 milyon doların üzerinde yatırım aldı. Positron AI, ayrıca 2026'da Nvidia'nın Vera Rubin platformlarına rakip olması beklenen ve Asimov adını verdiği ikinci nesil YZ çıkarım hızlandırıcısı üzerinde de çalışıyor.
Asimov AI hızlandırıcı, ASIC başına 2 TB bellek ile gelecek. Şirket tarafından yayınlanan bir görsele göre, HBM bellek yerine farklı bir bellek türü kullanacak. ASIC, raf ölçekli sistemlerde daha verimli operasyonlar için 16 Tb/s harici ağ bant genişliğine de sahip olacak. Sekiz adet Asimov AI hızlandırıcıdan oluşan ve toplamda 16 GB belleğe sahip Titan ise, tek bir makinede 16 trilyon parametreye kadar modeli çalıştırarak büyük ölçekli üretken YZ uygulamaları için bağlam sınırlarını önemli ölçüde genişletebilecek. Positron AI'a göre, sistem aynı anda birden fazla modelin yürütülmesini destekleyerek, GPU başına tek model kısıtlamasını ortadan kaldırıyor.
YZ endüstrisindeki artan enerji talepleri endişe yaratıyor. YZ model eğitimi için kullanılan bazı devasa kümeler, şehirler kadar güç tüketebiliyor. YZ modellerinin büyümesi ve kullanımı arttıkça, çıkarım için kullanılan YZ veri merkezlerinin güç tüketimi de hızla artıyor. Cloudflare, Positron AI'ın donanımlarını test eden erken benimseyen firmalardan biri. Buna karşılık, Google, Meta ve Microsoft gibi şirketler, kendi enerji tüketimlerini kontrol altında tutmak için kendi çıkarım hızlandırıcılarını geliştiriyor.
