NVIDIA'nın güçlü ekran kartı RTX 3090, 936.2 GB/s bellek bant genişliği ile özellikle metin işleme ve token üretiminde dikkat çekici bir performans sunuyor. Ancak, 24GB VRAM'in getirdiği sınırlamalar bu potansiyelin tam olarak kullanılmasını engelliyordu. Bir geliştiricinin Qwen3.8-27B modelini bu ekran kartında çalıştırmasıyla elde ettiği 82 token/s hızı, özel bir çıkarım motoru sayesinde tam 382 token/s'ye ulaştı. Bu, optimizasyonlarla yaklaşık 5 katlık bir hız artışı anlamına geliyor ve eski nesil ekran kartları için yeni kapılar aralıyor.
Daha Hızlı Token Üretimi: Qwen3.8-27B Modelinde Yeni Bir Dönem
Yapay zeka metin üretiminin neden yavaş olduğunu anlamak için, bu büyük dil modellerinin (LLM) çalışma prensibini kavramak gerekiyor. Modeller, birbiri ardına gelen token'ları teker teker üretir ve her yeni token, bir öncekinin sonucuna bağlıdır. RTX 3090, her bir token için modelin devasa hafızasındaki bilgileri (ağırlıkları) bellekten çekmek zorundadır. Sorun, bu çekme işleminin kendisi olup, gerçek hesaplamadan daha fazla zaman almasıdır. Bu durum, ekran kartının işlem gücünün çoğunlukla boşta kalmasına neden olur.
Bu darboğazın farkına varan bir geliştirici, spekülatif kod çözme tekniğini kullandı. Bu yöntemde, hızlı bir "taslak oluşturucu" birden fazla olası token'ı tahmin eder ve ana model, tüm bu tahminleri tek bir seferde kontrol ederek doğru olanları saklar, yanlış olanları ise eler. Kısacası, tek bir kelimeyi kontrol etmek yerine, tüm cümlenin kontrolü yapılır. Ana modelin her zaman nihai kararı vermesi sayesinde, üretilen çıktı modelin normalde üreteceği ile aynı olur. Geliştiricinin bildirdiğine göre, bir matematiksel karşılaştırmada doğruluk oranı %96.5 seviyesinde sabit kaldı.
Token üretim hızları aşamalı olarak arttı. Qwen3.8-27B'nin kendi sonraki birkaç token'ını tahmin etmesini sağlayan yerleşik çoklu token tahmini (MTP) özelliği ayarlanarak tek kullanıcılı hız yaklaşık 114 token/s'ye yükseltildi. Geliştirici daha sonra "DFlash2" adında ikinci bir taslak oluşturma yöntemi ekledi. Bu yöntem, aynı anda yedi token önerir. Buna ek olarak, sohbet geçmişindeki metinle eşleşen kelimeleri tarayarak sonraki kelimelerin aynı olacağını tahmin eden bir "arama" taslak oluşturucusu da entegre edildi.
"Arama" taslak oluşturucusu, token üretim hızlarını 138 token/s'ye çıkarmada yardımcı oldu. Geliştirici başlangıçta kontrol adımının DFlash2'nin 7 token'lık tahmini kadar büyük olması gerektiğini düşünmüştü, ancak durum böyle değildi. Arama taslak oluşturucusu ek alanları ücretsiz olarak doldurabildi, böylece motor artık adım başına 16 token kontrol edebiliyor. Qwen3.8-27B artık bir belgeyi alıntıladığında, 16 tahminden yaklaşık 15'i kabul ediliyor. Bu, 25.000 token'lık bir belge görevinde hızları 260'tan 382 token'a yükseltti. Sıradan bir sohbet senaryosunda ise aynı değişiklik yaklaşık 133 token/s'lik bir hız sağladı.
Ek olarak, geliştirici bu yaklaşımı kullanarak modelin çalışma belleğini daha kompakt bir formatta saklayarak Bağlam Penceresini 138.696 token'a kadar genişletti. Elbette, tüm bunlar büyük bir numara değil ve birkaç dezavantajı da beraberinde getiriyor. Daha uzun kontrol adımı, istek yuvalarının yarısını ve 8.000 token'lık bağlamı tüketiyor, bu nedenle isteğe bağlı bir özellik. Kompakt bellek formatı ise başlangıçta bir belgeyi okuma süresini ikiye katlıyor, bu nedenle belgeyi bir kez yükleyip çok sayıda soru sorulan durumlar için daha uygun. Günlük sohbetlerde, bu modun düz MTP'nin yaklaşık yarısı kadar hızda çalıştığı görüldü. Ancak, bu bilgilerin henüz bağımsız olarak doğrulanmadığını ve şimdilik bir tutam tuzla ele alınması gerektiğini belirtmekte fayda var.
