Büyük dil modellerinin (LLM'ler) en popüler kullanım alanlarından biri kod üretimi olsa da, tüm yapay zeka ajanları geliştirme görevlerinin her birinde eşit derecede başarılı değil. Google, bu yılın başlarında LLM'lerin Android uygulama geliştirme performansını değerlendirmek üzere bir kıyaslama aracı geliştirdi ve Android Bench bugün kapsamlı bir güncellemeyle karşımızda. Liderlik tablosuna birçok yeni model eklenirken, Google'ın kullanımı daha kolay yeni bir çerçeve benimsediği belirtiliyor. Geliştiriciler, kendi testlerini yürütmeye ve Android Bench'in geleceğini şekillendirebilecek geri bildirimler sunmaya davet ediliyor.
Popüler kodlama araçları olmalarına rağmen, LLM'ler her zaman doğru çıktılar üretemiyor. Yararlı sonuçları diğerlerinden ayırmak, doğru aracı seçmeyi gerektiriyor. Android Bench, 100 Android geliştirme görevinden oluşan bir dizi üzerinde hangi yapay zeka ajanlarının en iyi performansı gösterdiğini ortaya koymayı amaçlıyor. Mart ayında kullanıma sunulan Android Bench'e eklenen metrikler arasında maliyet ve verimlilik gibi unsurlar da bulunuyor. Ayrıca açık kaynaklı modeller de tabloya dahil edilmiş.
Android Bench'i güncel tutmak amacıyla Google, Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus ve Qwen 3.7 Max gibi en yeni ve öne çıkan sekiz yeni modelle testi güncelliyor.
Android Bench'in ilk sürümünde bile Google'ın yapay zeka modelleri en üst sıralarda yer almıyordu; OpenAI'nin en yeni LLM'leri hafif bir üstünlüğe sahipti. Google'ın model yelpazesini genişletmesiyle birlikte, Gemini'nin durumu daha da ilginçleşiyor. Yeni liderlik tablosunda, Gemini 3.1 Pro, GPT 5.4, Claude Sonnet 5 ve Claude Fable 5'in gerisinde beşinci sırada yer alıyor. Özellikle Fable 5, %84.5 doğruluk oranıyla beklentileri karşılıyor ve önemli bir avantaja sahip.
Ancak, Fable 5 ve GPT 5.5'in işletme maliyetleri oldukça yüksek; 100 soruluk, 10 çalıştırmalı kıyaslama için 130 doların üzerinde token maliyetine neden oluyorlar. Gemini 3.1 Pro daha düşük bir skor elde etse de, testin çalıştırılma maliyeti sadece 87 dolar. Diğer modellere göre daha uygun maliyetli olması beklenen Gemini 3.5 Flash ise, benchmark'ı tamamlaması çok daha uzun sürdüğü için 165 dolar çalışma başına ve 28 saatlik çalışma süresiyle listedeki en yüksek maliyete sahip model olarak dikkat çekiyor.
Google'ın modelleriyle Android kodlama performansı arasındaki bu fark, şirketin projelerinin çoğunu ajan tabanlı geliştirmeye kaydırmasıyla birlikte önem kazanıyor. Elbette Google, Android geliştiricilerinin kendi araçlarını iş akışlarında kullanmasını tercih edecektir. Bu durumun, Google'ın yapay zeka eğitimi için geliştiricilerden uygulama kaynak kodu satın alma tekliflerinde bulunduğu yönündeki raporların temelini oluşturabileceği düşünülüyor.
Topluluk İşbirliği
Android Bench'in zamanla gelişerek modelleri test etmek için yeni iş akışları benimsemesi bekleniyor. Google, geliştiricilerin benchmark'ları ve geliştirme görevlerini paylaşarak Android Bench'e katkıda bulunmasını umuyor. Bunu daha ulaşılabilir kılmak için Google, Harbor çerçevesine geçiş yapıyor. Şirkete göre bu test ortamı, geliştiricilerin Android Bench için sonuçları kolayca çalıştırmasına, değerlendirmesine ve paylaşmasına olanak tanıyor.
Google, LLM performansları için yeni bir temel oluşturmak amacıyla Harbor ile tüm önceki testlerini yeniden çalıştırdı. Bu nedenle, temel testler değişmemiş olsa bile, daha önce bildirilen skorlarda bazı değişiklikler söz konusu. Geçmiş veriler arşivde çevrimiçi olarak kalmaya devam edecek.
Yeni ve daha kolay çerçeve sayesinde geliştiriciler, kendi geliştirme görevlerini Android Bench'e karşı yürütebilir ve bunları resmi teste dahil edilmek üzere gönderebilirler. Android Bench GitHub'ı güncellenerek yeni veri kümesi ve katılımla ilgili talimatlar eklendi.
