Büyük dil modellerinin somut kullanım alanlarından bahsedilirken, yapay zeka şirketleri genellikle yazılımcıların ve geliştiricilerin bu modelleri kullanarak üretkenliklerini ve genel verimliliklerini nasıl artırabildiğine dikkat çekmeyi sever. Ancak, yeni bir randomize kontrollü deney, deneyimli açık kaynak kod geliştiricilerinin mevcut yapay zeka araçlarını kullandıklarında kodlama ile ilgili görevlerde daha az verimli hale geldiklerini ortaya koydu.
Bir araştırma ekibi, çalışmaları için belirli açık kaynak kod depoları üzerinde yıllarca deneyimi olan 16 yazılım geliştiricisini bir araya getirdi. Araştırma, bu geliştiricileri, hata düzeltmeleri, yeni özellikler ekleme ve yeniden düzenlemeler gibi normal işlerinin bir parçası olan 246 ayrı görev boyunca takip etti. Bu görevlerin yarısında geliştiriciler yapay zeka araçları kullanırken, diğer yarısında yapay zeka desteği kullanmamaları istendi. Her görev için beklenen süre tahminleri (gruplar atanmadan önce yapılan), her deney grubundaki görevlerin genel zorluğunu dengelemek için kullanıldı. Gözden geçiren geri bildirimlerine dayalı olarak pull request'leri düzeltmek için gereken süre de genel değerlendirmeye dahil edildi.
Çalışmayı yapmadan önce, söz konusu geliştiriciler, yapay zeka araçlarının kendilerine verilen görevler için gereken sürede yüzde 24'lük bir azalmaya yol açmasını bekliyorlardı. Bu görevleri tamamladıktan sonra bile, geliştiriciler yapay zeka araçlarının kendilerini ortalama yüzde 20 daha hızlı hale getirdiğine inanıyorlardı. Ancak gerçekte, yapay zeka destekli görevler, yapay zeka araçları kullanılmadan tamamlanan görevlere göre yüzde 19 daha yavaş tamamlandı.
Dengeler ve Kayıplar
Araştırmacılar, incelenen geliştiricilerin bir alt kümesinden alınan ekran kayıt verilerini analiz ederek, yapay zeka araçlarının geliştiricilerin aktif olarak kodlama, test/hata ayıklama veya "bilgi okuma/arama" için harcadığı ortalama süreyi azalttığını buldu. Ancak bu süre tasarrufları, sonuçta "yapay zeka çıktılarını gözden geçirme, yapay zeka sistemlerine komut verme ve yapay zeka üretimlerini bekleme" süresi ile ekran kayıtlarında hiçbir aktivite görülmeyen "boş/ekstra zaman" tarafından ezildi.
Genel olarak, çalışmadaki geliştiriciler, yapay zeka tarafından üretilen kodun yüzde 44'ünden azını değiştirmeden kabul etti. Geliştiricilerin çoğunluğu, yapay zeka arkadaşları tarafından üretilen kodda değişiklik yapma ihtiyacı duyduğunu bildirdi ve çalışmanın "yapay zeka destekli" kısmındaki toplam görev süresinin yüzde 9'u bu tür gözden geçirme ile geçti.
Yüzeysel olarak, bu araştırmanın sonuçları, yapay zeka araçları kullanıldığında kodlama verimliliğinde artış gösteren diğer benchmark'lar ve deneylerle çelişiyor gibi görünüyor. Ancak bunlar genellikle toplam kod satırı veya tamamlanan bağımsız görev/kod commit'i/pull request sayısı gibi verimliliğin zayıf göstergeleri olabilen metrikleri ölçer. Ayrıca, mevcut kodlama benchmark'larının çoğu, özellikle test için oluşturulmuş sentetik, algoritmik olarak puanlanabilen görevlere odaklanır, bu da bu sonuçları önceden var olan, gerçek dünya kod tabanları üzerinde yapılan çalışmalarla karşılaştırmayı zorlaştırır.
Bu doğrultuda, araştırmaya katılan geliştiriciler anketlerde, çalıştıkları depoların genel karmaşıklığının (ortalama 10 yaşında ve 1 milyondan fazla kod satırı içeren), yapay zekanın ne kadar yardımcı olabileceğini sınırladığını bildirdi. Araştırmacılar, yapay zekanın kod tabanı hakkında "önemli örtük bilgiyi veya bağlamı" kullanamadığını, oysa "geliştiricilerin depolara olan yüksek aşinalığının" bu görevlerdeki insani kodlama verimliliklerini desteklediğini belirtti.
Bu faktörler, araştırmacıları, mevcut yapay zeka kodlama araçlarının "çok yüksek kalite standartları olan veya insanların öğrenmesinin önemli zaman aldığı birçok örtük gereksinimi (örneğin dokümantasyon, test kapsamı veya linting/formatlama ile ilgili) olan ortamlara" özellikle uygun olmayabileceği sonucuna götürdü. Bu faktörler daha basit kod tabanlarını içeren "birçok gerçekçi, ekonomik olarak ilgili durumda" geçerli olmayabilirken, bu çalışmada ve benzer gerçek dünya durumlarında yapay zeka araçlarının etkisini sınırlayabilirler.
Ve çalışılanlar gibi karmaşık kodlama projeleri için bile, araştırmacılar yapay zeka araçlarının daha fazla geliştirilmesinin gelecekte yazılımcılar için verimlilik artışlarına yol açabileceği konusunda iyimserler. Daha iyi güvenilirlik, daha düşük gecikme süresi veya daha ilgili çıktılara sahip sistemlerin (örneğin prompt scaffolding veya ince ayar gibi teknikler aracılığıyla) "çalışmamızdaki geliştiricileri hızlandırabileceğini" yazıyorlar. Zaten, yakın zamanda piyasaya sürülen bir yapay zeka modelinin, çalışmaya dahil edilen birkaç depoda konuların temel işlevselliğini genellikle doğru bir şekilde uygulayabildiğine dair "ön kanıtlar" olduğunu söylüyorlar.
Ancak şimdilik, bu araştırma, yapay zekanın kodlama görevlerindeki çok övülen faydasının belirli karmaşık, gerçek dünya kodlama senaryolarında önemli sınırlamalara sahip olabileceğine dair güçlü kanıtlar sunmaktadır.
