NVIDIA'nın yapay zeka hızlandırma teknolojisi TensorRT, artık GeForce RTX ekran kartlarında kullanıma sunuldu. Bu gelişme, yapay zeka uygulamalarında DirectML'e kıyasla iki kata kadar performans artışı sağlıyor.
Teknoscope Duyuruyor: NVIDIA TensorRT ile RTX Ekran Kartlarında Yapay Zeka Performansında Dev Sıçrama
NVIDIA, TensorRT'yi RTX platformuna taşıdığını duyurdu. Bu sayede, RTX ekran kartı sahibi kullanıcılar, optimize edilmiş yapay zeka çıkarım motoru (inference backend) sayesinde çok daha yüksek performans elde edebilecekler.
TensorRT ile kullanıcılar, DirectML'e karşı yapay zeka uygulamalarında iki kata kadar performans artışı gözlemleyebilecekler. TensorRT, Windows ML tarafından da yerel olarak destekleniyor.
Ancak TensorRT'nin RTX için sunduğu tek avantaj performans artışı değil. Yeni çıkarım motoru, kütüphane dosyası boyutlarını sekiz kata kadar küçültüyor ve her GPU için Anında (Just-in-time) optimizasyonlarla birlikte geliyor. TensorRT for RTX, Haziran ayında tüm NVIDIA GeForce RTX ekran kartları için kullanıma sunulacak.
NVIDIA tarafından paylaşılan performans verilerine göre, TensorRT'nin DirectML'e kıyasla kayda değer performans artışları sağladığı görülüyor. ComfyUI'da kullanıcılar 2 kat performans artışı elde ederken, DaVinci Resolve ve Vegas Pro gibi uygulamalarda %60'a varan bir artış yaşanıyor. Bu da yapay zeka iş akışlarının ve çalışma sürelerinin kısalması anlamına geliyor. Böylece RTX ekran kartları ve RTX bilgisayarlar tam potansiyellerini ortaya çıkarabiliyor.
NVIDIA'nın yazılım alanındaki yenilikleri bunlarla sınırlı değil. Şirket, 150'den fazla yapay zeka SDK'sını destekliyor ve bu ay içinde 5 yeni yazılım entegrasyonu daha geliyor. Bunlar arasında:
- LM Studio (En son CUDA ile +%30 performans)
- Topaz Video AI (CUDA hızlandırmalı Üretken Yapay Zeka Video)
- Bilibili (NVIDIA Broadcast Efektleri)
- AutoDesk VRED (DLSS 4)
- Chaos Enscape (DLSS 4)
NVIDIA ayrıca yeni NIM'ler (NVIDIA Inference Microservices) ve yapay zeka şablonları (AI Blueprints) sunuyor. Bunlara ek olarak, Project G-Assist için Discord, Gemini, IFTTT, Twitch, Spotify ve SignalRGB entegrasyonları gibi yeni eklentiler de dahil. Kullanıcılar kendi Project G-Assist eklentilerini de geliştirebiliyorlar.
