GPU Taskman, her bir işlem için detaylı VRAM izleme, GPU telemetrisi ve hatta yerel yapay zeka modeli bellek tüketimi hakkında içgörüler sunuyor.
Grafik işlemcinizin (GPU) VRAM'inin nereye gittiğini hiç merak ettiniz mi? Microsoft/GitHub'da Başkan Yardımcısı ve Teknik Kadro Üyesi Scott Hanselman, bu soruyu geleneksel izleme araçlarından çok daha fazla ayrıntıyla yanıtlamaya çalışan açık kaynaklı bir araç geliştirdi: GPU Taskman (gputaskman).
Hanselman, 3 Kasım'da yaptığı bir paylaşımda, GPU belleğini neyin tükettiğini daha iyi görmek istediğini belirterek, diğer geliştiricileri projeye katkıda bulunmaya davet etti.
Standart Windows Görev Yöneticisi, işlem başına GPU bellek istatistikleri sunsa da, GPU Taskman VRAM tüketimini, GPU tarafından erişilebilen sistem belleğini, bireysel işlem etkinliklerini ve donanım telemetrisini tek bir terminal tabanlı arayüzde bir araya getiriyor.
Bu araç, GPU kullanım oranı, VRAM kullanımı, sıcaklık, güç tüketimi, saat hızları, bellek etkinliği ve PCIe istatistikleri gibi bilgilerin yanı sıra, GPU kaynaklarını tüketen bireysel işlemlerin dökümünü de görüntülüyor.
Ayrıca, masaüstü oluşturma, web tarayıcıları, oyunlar ve yapay zeka uygulamaları gibi farklı iş yüklerini ayırt edebiliyor. Bu, aşırı VRAM tüketimini gidermede veya bir GPU'nun neden sistem belleğine yoğun bir şekilde güvendiğini belirlemede oldukça faydalı olabilir.
GPU Taskman Yapay Zeka Modellerini ve Bellek Gereksinimlerini de Tanıyor
Belki de en ilgi çekici özelliği, yerel yapay zeka iş yükleri için sunduğu destektir. Projenin GitHub belgelerine göre, GPU Taskman desteklenen yapay zeka modellerini tanımlayabiliyor ve bunların mimari, niceleme, parametre sayısı, model ağırlıkları ve tahmini KV-önbellek gereksinimleri hakkında ek bilgiler sağlayabiliyor.
Araç şu anda llama.cpp, Ollama ve LM Studio gibi çeşitli yapay zeka çalışma zamanlarını ve uygulamalarını tanıyor, ancak detay seviyesi çalışma zamanına ve mevcut bilgilere göre değişiklik gösterebiliyor.
Örneğin, bir yapay zeka uygulamasının birkaç gigabayt VRAM kapladığını bildirmek yerine, GPU Taskman'ın model ağırlıklarına ayrılan belleği, KV-önbelleği ve hesaplama tamponlarıyla ilişkili bellekten ayırt etmeye yardımcı olabileceği belirtiliyor. Bu, işletim sistemi GPU sayaçlarını işlem meta verileri, model dosyaları, çalışma zamanı günlükleri ve yerel API'lardan alınan bilgilerle birleştirerek gerçekleştiriliyor. Önemli bir not olarak, bazı model özelindeki değerlerin doğrudan ölçülmüş GPU tahsislerinden ziyade tahminler olduğu belirtiliyor.
Yapay zeka dışında, GPU Taskman PC oyuncularının bellek ile ilgili performans sorunlarını araştırması için de faydalı olabilir. Daha önce de tartışıldığı gibi, aşırı VRAM baskısı, uygulamaların giderek daha yavaş sistem belleğine güvenmesiyle takılmalara katkıda bulunabilir.
Ancak, bellek kullanımı doğrudan VRAM taşmasını göstermeyebilir ve aracın bireysel oyun dokularını tanımlayamayacağı veya hangi kaynakların tam olarak çıkarıldığını belirleyemeyeceği konusunda uyarılar yapılıyor.
Windows, Linux ve macOS İçin Kullanılabilir
GPU Taskman, Windows 10/11'de NVIDIA ve AMD GPU'ları desteklemenin yanı sıra Linux, WSL ve Apple Silicon macOS sistemlerinde de çalışabiliyor. Yetenekler platform ve donanıma göre değişiklik gösterebiliyor.
Geliştirme hızla ilerliyor. 10 Kasım'da yayınlanan en son v0.3.5 sürümü, Linux'ta Intel GPU desteği, CPU ve sistem RAM izleme ve GPU istatistiklerini kaydetmek için ek seçenekler sunuyor.
Araç MIT lisansı altında dağıtılıyor ve GitHub Releases sayfasından indirilebiliyor. Ayrı bir Python kurulumu gerektirmeyen taşınabilir Windows sürümleri mevcutken, kullanıcılar uygulamayı PyPI üzerinden de yükleyebiliyor.
GPU Taskman deneysel bir yazılım olmaya devam ediyor ve bazı izleme yeteneklerinin farklı donanım yapılandırmalarında daha fazla doğrulanması gerekiyor. Bununla birlikte, meraklılar, geliştiriciler ve GPU kaynaklarının tam olarak nasıl kullanıldığını anlamak isteyen herkes için şimdiden kullanışlı bir araç haline gelmiş görünüyor.
Kaynakça: wccftech.com
