AMD, Google'ın yeni açık kaynaklı yapay zeka modelleri ailesi Gemma 4'ü, tüm GPU ve CPU ürün ailesiyle tam uyumlu hale getirdiğini duyurdu. Bu destek sayesinde, farklı boyutlardaki (2B'den 31B'ye kadar) Gemma 4 modelleri, AMD'nin donanımlarında rahatlıkla çalıştırılabilecek.
AMD Radeon GPU'lar ve Ryzen AI CPU'lar Gemma 4'ü Tam Destekliyor
Google'ın piyasaya sürdüğü Gemma 4, çeşitli boyutlardaki açık kaynaklı yapay zeka modellerini kapsıyor. Bu duyuruyla birlikte AMD, Radeon GPU'ları ve Ryzen AI CPU ailesinin tamamı için destek sunduğunu belirtti. Bu destek, bulut ve kurumsal veri merkezleri için AMD Instinct GPU'ları, yapay zeka iş istasyonları için AMD Radeon GPU'ları ve yapay zeka bilgisayarları için AMD Ryzen AI işlemcilerini içeriyor. Ayrıca, LM Studio gibi popüler yapay zeka uygulamaları ve vLLM, SGLang, llama.cpp, Ollama ve Lemonade gibi açık kaynaklı yazılım projeleriyle de entegrasyon sağlanıyor.
vLLM ile Dağıtım Kolaylığı
Gemma 4 modelleri, vLLM kullanılarak AMD GPU'larda dağıtılabiliyor. Bu sayede, özellikle birden fazla eş zamanlı isteği destekleme konusunda vLLM'nin sunduğu birçok optimizasyondan yararlanmak mümkün oluyor. Instinct ve Radeon GPU'larının birden fazla neslini kapsayan geniş bir AMD GPU yelpazesi, Gemma 4 modelleriyle birlikte kullanılabilecek. Bu destek, hem Gemma 4'ün ilk sürümünde hem de ilerleyen sürümlerinde yer alacak. Kurulumlar Docker imajları veya Python paketleri aracılığıyla gerçekleştirilebilecek.
SGLang ile Yüksek Performanslı Dağıtım
Gemma 4, SGLang kullanılarak AMD MI300X/MI325X/MI35X GPU'larda yüksek performanslı sunum için dağıtılabiliyor. SGLang, Gemma 4'ün tam ailesini, yani yoğun modelleri (E2B, E4B, 31B) ve MoE varyantını (26B-A4B) destekliyor. Bu destek, SGLang'ın ilgili sürümünde Docker imajları aracılığıyla erişilebilir durumda.
Yerel Donanımlarda LM Studio ile Kolay Kullanım
Gemma 4 modelleri, açık kaynaklı llama.cpp projesi ve LM Studio aracılığıyla AMD donanımlarında kolayca ve performanslı bir şekilde dağıtılabiliyor. Kullanıcılar, LM Studio uygulamasını indirerek ve en güncel AMD Software: Adrenalin Edition sürücülerini kullanarak, AMD Ryzen AI ve Ryzen AI Max işlemcileri ile Radeon ve Radeon PRO ekran kartları gibi desteklenen donanımlarda bu modelleri hızla çalıştırabilirler.
Lemonade Server ile Yerel Donanımlarda Dağıtım
Lemonade Server, Gemma 4 modellerinin AMD donanımlarında dağıtılmasına olanak tanıyor. Bu, OpenAI ile uyumlu API'lere sahip açık kaynaklı bir yerel LLM sunucusu. Lemonade, AMD Radeon ve Radeon PRO GPU'ları için ROCm aracılığıyla, AMD Ryzen AI işlemcileri içinse XDNA 2 NPU üzerinden hızlandırma desteği sunuyor.
GPU Dağıtımı (Lemonade ve ROCm ile)
Gemma 4'ü ROCm hızlandırmasıyla AMD GPU'larda çalıştırmak için Lemonade'ı kurmanız ve GPU mimarinize uygun llama.cpp'nin ROCm önizleme sürümünü indirmeniz gerekiyor. Ardından, Lemonade'ı ilgili ROCm sürümüne yönlendirmek için ortam değişkenini ayarlamanız ve API üzerinden Gemma 4 modelini yüklemeniz yeterli.
NPU Dağıtımı (Ryzen AI ile)
Geliştiriciler, en yeni AMD XDNA 2 NPU'yu destekleyen Lemonade Server'ı entegre ederek Gemma 4 modellerini NPU üzerinde dağıtabilecekler. Gemma-4 E2B ve E4B modelleri için NPU desteği, bir sonraki Ryzen AI yazılım güncellemesiyle birlikte sunulacak. Bu güncelleme Lemonade'a entegre edilecek ve geliştiricilere doğrudan OnnxRuntime API'ları olarak da sunulacak.
