NVIDIA ve OpenAI, yapay zeka alanındaki en yeni gelişmeleri tüketicilerle buluşturuyor. Son teknoloji gpt-oss ailesi yapay zeka modelleri, RTX ekran kartlarında görülmemiş bir performans sergiliyor.
RTX 5090 ile OpenAI’ın GPT-OSS 20B Modeli Saniyede 250 Token İşliyor, PRO GPU'lar GPT-OSS 120B İçin Hazır
Bugün yapılan bir duyuru ile, NVIDIA'nın OpenAI ile olan iş birliği sayesinde, daha önce yalnızca bulut veri merkezlerine özel olan son teknoloji yapay zeka modelleri, artık RTX destekli bilgisayarlar ve iş istasyonlarında inanılmaz bir hızla çalışabiliyor. Bu durum, yapay zekanın gücünü daha geniş kitlelere ulaştırıyor.
NVIDIA'nın kurucusu ve CEO'su bu lansmanın önemini şu sözlerle vurguladı:
“OpenAI, NVIDIA Yapay Zekası üzerine nelerin inşa edilebileceğini dünyaya gösterdi ve şimdi açık kaynaklı yazılımlarda yenilikleri ilerletiyorlar. gpt-oss modelleri, geliştiricilerin her yerde bu son teknoloji açık kaynak temel üzerine inşa etmelerine olanak tanıyarak, dünyanın en büyük yapay zeka işlem altyapısı üzerinde ABD'nin yapay zeka alanındaki teknoloji liderliğini güçlendiriyor.”
Bu gelişme, GeForce RTX ekran kartlarının ve PRO GPU'ların gücüyle desteklenen yeni nesil, daha hızlı ve daha akıllı cihaz içi yapay zekayı müjdeliyor. Tüm ekosisteme hizmet etmek üzere tasarlanmış iki yeni model mevcut:
- gpt-oss-20b modeli, en az 16 GB VRAM'e sahip NVIDIA RTX Yapay Zeka PC'lerinde en yüksek performansta çalışacak şekilde optimize edilmiştir. RTX 5090 ekran kartında saniyede 250 token'a kadar performans sunar.
- Daha büyük gpt-oss-120b modeli ise NVIDIA RTX PRO GPU'larla hızlandırılmış profesyonel iş istasyonlarında desteklenmektedir.
NVIDIA H100 GPU'lar üzerinde eğitilen bu modeller, NVIDIA RTX üzerinde MXFP4 hassasiyetini destekleyen ilk modellerdir. Bu teknik, eski yöntemlere kıyasla ek performans maliyeti olmaksızın model kalitesini ve doğruluğunu artırır. Her iki model de, yerel çıkarımda (local inference) mevcut en uzun bağlam uzunluklarından bazıları olan 131.072'ye kadar bağlam uzunluğunu destekler. Zincirleme düşünme (chain-of-thought) yeteneklerine ve talimat takibi ile araç kullanımını desteklemeye sahip esnek uzmanlar karışımı (MoE) mimarisi üzerine inşa edilmişlerdir.
Bu haftanın RTX Yapay Zeka Garajı, yapay zeka meraklıları ve geliştiricilerin yeni OpenAI modellerini NVIDIA RTX GPU'larda nasıl kullanmaya başlayabileceğini detaylandırıyor:
- Ollama Uygulaması: Bu modelleri test etmenin en kolay yolu yeni Ollama uygulamasıdır. Kullanıcı arayüzü, RTX GPU'lar için tamamen optimize edilmiş gpt-oss modellerini kutudan çıktığı gibi destekler.
- Llama.cpp: NVIDIA, RTX GPU'larda performansı optimize etmek için açık kaynak topluluğuyla iş birliği yapıyor. Son katkılar arasında ek yükü azaltmak için CUDA Grafikleri (CUDA Graphs) de bulunuyor. Geliştiriciler Llama.cpp GitHub deposundan başlayabilirler.
- Microsoft AI Foundry: Windows geliştiricileri modellere Microsoft AI Foundry Local (genel önizlemede) aracılığıyla erişebilirler. Başlamak için terminalde Foundry model run gpt-oss-20b komutunu çalıştırmak yeterlidir.
