Yapay zeka devrimi hayatımızda tam anlamıyla yerini alırken, bu alandaki en gelişmiş modellerin büyük çoğunluğu halen bulut tabanlı olarak hizmet veriyor. ChatGPT, Claude ve Gemini gibi popüler yapay zeka araçları hala bulutta çalışıyor. Ancak, gizlilik, araştırma ve kontrol gibi nedenlerle yerel yapay zeka modellerinin kullanımı da büyük önem taşıyor. Bu noktada, GPU ve NPU gibi donanımlara sahip istemci sistemlerinin yapay zeka performansını güvenilir ve tarafsız bir şekilde ölçebilmek büyük önem kazanıyor.
İstemci yapay zeka alanı, donanım ve yazılım üreticilerinin yerel çalışmaya en uygun iş yüklerini ve bu iş yüklerini çalıştırmak için en iyi hesaplama kaynaklarını belirleme çabalarıyla hızla gelişiyor. Bu dinamik ortamda yol göstermek amacıyla, MLCommons konsorsiyumu ve bünyesindeki MLPerf İstemci çalışma grubu, büyük donanım ve yazılım üreticileriyle iş birliği içinde geliştirilen bir istemci kıyaslama aracı sunuyor.
MLPerf Client 1.0'ın yayınlanmasıyla birlikte, önceki sürüm olan 0.6 kıyaslamasına göre önemli geliştirmeler yapıldı. Bu yeni araç, daha fazla yapay zeka modeli, daha fazla üreticiden daha fazla cihazda donanım hızlandırma desteği ve büyük dil modelleriyle etkileşimin daha geniş bir yelpazesini test etme imkanı sunuyor. Ayrıca, daha sıradan kullanıcıların da ilgisini çekecek, kullanıcı dostu bir grafik arayüzü de bulunuyor.
MLPerf Client 1.0 ile artık Meta'nın Llama 2 7B Chat ve Llama 3.1 8B Instruct modellerinin yanı sıra, Microsoft'un Phi 3.5 Mini Instruct modelinin performansını da test etmek mümkün. Gelecek nesil dil modellerinin daha fazla parametreye ve daha yüksek yeteneklere sahip olabileceğinin bir örneği olarak, deneysel Phi 4 Reasoning 14B modelinin performansına yönelik destek de sunuluyor.
MLPerf Client 1.0, aynı zamanda daha geniş bir komut türü yelpazesindeki performansı da inceliyor. Artık geliştiricilerin sıkça ihtiyaç duyabileceği kod analizi performansı test ediliyor. Ayrıca, deneysel bir özellik olarak 4000 veya 8000 token'lık büyük bağlam pencereleriyle içerik özetleme performansı da ölçülebiliyor.
Bu modellerin ve bağlam boyutlarının çeşitliliği, donanım test edenler için daha geniş ölçeklenebilir iş yükleri sunuyor. Örneğin, bu sürümdeki bazı deneysel iş yükleri çalışmak için 16GB VRAM'e sahip bir GPU gerektiriyor, bu da sadece entegre grafikler ve NPU'lar değil, aynı zamanda daha üst düzey donanımları da zorlamamıza olanak tanıyor.
İstemci yapay zekanın donanım ve yazılım katmanları sürekli gelişiyor ve yapay zeka iş yüklerini yerel olarak hızlandırmanın çeşitli yolları oldukça karmaşık bir hal almış durumda. MLPerf Client 1.0, daha önce olduğundan daha fazla donanım ve hızlandırma yolunu kapsıyor; özellikle Qualcomm ve Apple cihazları için önemli destekler getiriyor. Desteklenen yollar şunlardır:
- ONNX Runtime GenAI ve Ryzen AI SDK aracılığıyla AMD NPU ve GPU hibrit desteği
- ONNX Runtime GenAI-DirectML aracılığıyla AMD, Intel ve NVIDIA GPU desteği
- OpenVINO aracılığıyla Intel NPU ve GPU desteği
- Qualcomm Genie ve QAIRT SDK aracılığıyla Qualcomm Technologies NPU ve CPU hibrit desteği
- MLX aracılığıyla Apple Mac GPU desteği
Kıyaslamanın 1.0 sürümü ayrıca şu deneysel donanım yürütme yollarını da destekliyor:
- Microsoft Windows ML ve OpenVINO yürütme sağlayıcısı aracılığıyla Intel NPU ve GPU desteği
- Llama.cpp-CUDA aracılığıyla NVIDIA GPU desteği
- Llama.cpp-Metal aracılığıyla Apple Mac GPU desteği
Ve son olarak, MLPerf Client 1.0 artık kullanıcıların donanımlarında çalıştırabilecekleri kıyaslamaların tüm yelpazesini anlamalarını ve aralarından kolayca seçim yapmalarını sağlayan bir grafik kullanıcı arayüzüne sahip.
GUI sürümü ayrıca bir sistemdeki çeşitli donanım kaynaklarının gerçek zamanlı izlenmesini de sağlıyor, böylece seçtiğiniz yürütme yolunun beklenen GPU veya NPU'yu kullanıp kullanmadığını anında görebilirsiniz.
MLPerf Client'ın önceki sürümleri yalnızca komut satırı araçlarıyken, bu yeni kullanıcı arayüzü, GPU'sunu veya NPU'sunu (veya her ikisini birden) yapay zeka ile denemek isteyen sıradan kullanıcıların yanı sıra, profesyonel donanım testçilerinin de bu kıyaslamaya olan ilgisini artıracaktır.
MLPerf Client 1.0 artık GitHub'dan ücretsiz olarak indirilebiliyor. Yapay zeka iş yükleri yelpazesindeki sistem performansınızı anlamakla ilgileniyorsanız, denemenizi tavsiye ederiz. 1.0 sürümüyle ilgili çalışmalarımız devam ediyor ve çeşitli donanımlardaki yapay zeka performansını keşfetmeye devam ettikçe bu araçtan daha fazla yararlanmayı dört gözle bekliyoruz.
