Tenstorrent, düzenlediği bir etkinlikte yaptığı iddialı bir açıklamayla, özellikle yapay zeka (AI) alanında tüm rakiplerini geride bırakacağını duyurdu. Şirket, bu hedefe ulaşmak için geliştirdiği Galaxy sunucularını öne çıkarıyor.
Tenstorrent Galaxy Süper Kümesi, Yapay Zeka Üretimi Videolarda 10 Kat Hız Sunarken, Mevcut Nesil GPU'ları "Blitz Modu" ile Geride Bırakıyor: DeepSeek R1'de Saniyede 350 Token Hızına Ulaşıyor
Jim Keller önderliğindeki Tenstorrent, RISC-V tabanlı platformlarıyla mevcut yapay zeka hiyerarşisine meydan okuma misyonunda. Bu doğrultuda şirket, büyük ölçekli yapay zeka ihtiyaçları için en yeni Galaxy Blackhole sunucularını tanıttı. Galaxy Blackhole, hesaplama, bellek ve ağ iletişimi gibi unsurları tek bir sistemde birleştiren, en güncel yapay zeka iş yükleri için optimize edilmiş, tamamen entegre bir AI çözümü sunuyor.
Galaxy sunucularında kullanılan çipin adı Blackhole ve ARM ile x86'ya rakip olan RISC-V mimarisine dayanıyor. Etkinlik sırasında Jim Keller, A0 silikonunun halihazırda gönderildiğini ancak üzerinde çalıştıkları bazı yazılım hataları olduğunu belirtti.
Galaxy Blackhole süper kümesinin performansını sergilemek amacıyla Tenstorrent, etkinlik sırasında çeşitli demolar gerçekleştirdi. Bu demoların merkezinde, Tensix adı verilen ve beş RISC işlemci, matris çarpımı birimleri, vektör birimleri ve yerel SRAM içeren Tensor çekirdeği yer alıyor. Her RISC işlemci tamamen programlanabilir ve yüksek bant genişliğine sahip bir ağ ile bağlı. Bu Tensix Tensor çekirdeklerinin bir araya gelmesiyle bir çip oluşturuluyor.
Tenstorrent, rakip GPU'lara kıyasla daha yüksek Token verimliliği elde etmek için kullanıcı sayısının önemli ölçüde azaldığını belirtiyor. Galaxy sunucularında ise bu durumun geçerli olmadığını, daha düşük Token Maliyeti (yaklaşık 6 dolar, rakiplerde ise 30 dolar civarı) ile daha düşük Toplam Sahip Olma Maliyeti (TCO) sağladıklarını iddia ediyorlar.
Daha önce de belirtildiği gibi, Tenstorrent'in Galaxy Süper Kümesi üzerinde çalışan Yapay Zeka ile Üretilen Videolarda 10 kat daha hızlı performans gösterdiği resmi olarak sergilendi. Sistem, 81 karelik (720p) bir videoyu yalnızca 2.4 saniyede üretebiliyor. Bu, 5 saniyelik bir videonun gerçek zamanından daha hızlı üretildiği anlamına geliyor.
GenAI demosuna ek olarak Tenstorrent, Galaxy Blackhole sunucusu için Blitz Modu'nu da tanıttı. Galaxy'deki Blitz Modu, öncelikli, gecikmeye duyarlı yapay zeka iş yükleri için optimize edilmiş durumda. Bu mod ile Galaxy sunucuları, Deepseek R1-0528 671B modelinde saniyede 350'den fazla token hızına ulaşarak GPU rakiplerini hızla geride bırakıyor. Gösterilen iki temel performans ölçümü şu şekilde:
- Kod Çözme (Decode): DeepSeek-R1-0528 671B, saniyede 350'den fazla token/kullanıcı hızına ulaşıyor. Bu performans, Groq ve Cerebras gibi sistemlerin en hızlı çıkarım sistemlerinden daha iyi hem performans hem de kapasite sunuyor. 8 ila 64 arası toplu iş boyutlarını ve 128 bin bağlamı destekliyor (16 Galaxy sunucusu üzerinde çalışıyor).
- İlk Token'a Kadar Süre (Prefill): 100 bin bağlam için ilk token'a kadar olan süre 4 saniyenin altında. Bu, aynı genel amaçlı Tenstorrent Galaxy süper kümeleri üzerinde çalıştırılıyor.
Fiyatlandırma ve kullanılabilirlik açısından Tenstorrent Galaxy Blackhole sunucusu, yeni nesil Blackhole çiplerini ve tamamen açık kaynaklı bir yazılım yığınını içeren, hava soğutmalı bir raf yapılandırmasında 110.000 dolardan başlayan fiyatlarla sunulacak. Sistem, 32 adet Blackhole çipi ile 23 PFLOPs FP8 (AI) hesaplama gücü, 2.9 PB/s hızında 6.2 GB on-chip SRAM, 16 TB/s hızında 1 TB DRAM ve 11.2 GB/s'ye kadar ölçeklenebilir bant genişliği için 56 adet 800G Ethernet portu sunuyor.
Müşteriler, 4 ila 36 adet Galaxy sunucusundan oluşan süper küme yapılandırmalarında da Galaxy Blackhole'u satın alabilirler. 4 adet Galaxy sunucusunu içeren temel yapılandırmanın fiyatı ise 440.000 dolardan başlıyor.
