Geçtiğimiz ay Mozilla'nın CTO'sunun yapay zeka destekli güvenlik açığı tespiti sayesinde "sıfır gün açıkları artık sayılı gününü yaşıyor" ve "savunmacılar nihayet kesin olarak kazanma şansı buldu" ifadeleriyle duyurduğu gelişme, teknoloji dünyasında büyük bir şaşkınlık yaratmıştı. Bu tür iddialar genellikle dikkat çekici yapay zeka başarılarının, detayların inceltilmeden, yalnızca olumlu yönlerinin vurgulanarak kamuoyuna sunulduğu ve beklentileri yükseltme eğilimi taşıyan bir dinamiği akla getiriyordu.
Mozilla, bu konudaki şüpheleri gidermek amacıyla, yazılım güvenlik açıklarını belirlemek için kullanılan yapay zeka modeli Anthropic Mythos'un iki ay boyunca Firefox'ta tespit ettiği 271 güvenlik açığına ilişkin perde arkasını paylaştı. Mozilla mühendisleri, bu çığır açan gelişmenin temelinde iki önemli faktörün yattığını belirtti: Birincisi, modellerin kendi içindeki iyileştirmeler; ikincisi ise Mozilla'nın, Mythos'un Firefox kaynak kodunu analiz ederken ona destek olan özel bir "harness" (araç katmanı) geliştirmesi.
"Neredeyse Hiç Yanlış Pozitif Yoktu"
Mühendisler, daha önceki yapay zeka destekli güvenlik açığı tespit denemelerinde "istenmeyen bir 'çöp' durumuyla" karşılaştıklarını ifade ettiler. Genellikle, bir yapay zeka modeline bir kod bloğunu analiz etmesi için komut verilir, model de ikna edici görünen hata raporları sunardı ve bu raporlar genellikle daha önce görülmemiş ölçeklerde olurdu. Ancak insan geliştiriciler bu raporları daha detaylı incelediklerinde, bilgilerin büyük bir kısmının yapay zeka tarafından "uydurulduğu" tespit edilirdi. Bu durum, insan geliştiricilerin, yapay zekadan gelen güvenlik açığı raporlarını geleneksel yöntemlerle ele almak için ciddi zaman harcamalarına neden oluyordu.
Mozilla'nın bu konudaki deneyimli mühendislerinden Brian Grinstead ile yapılan bir röportajda, Mythos ile yapılan çalışmanın farklı olduğu vurgulandı. En önemli fark yaratan unsurun, bir LLM'in (Büyük Dil Modeli) etrafına sarılarak onu belirli görevler dizisi boyunca yönlendiren bir kod parçası olan "agent harness" kullanımı olduğu belirtildi. Böyle bir harness'ın faydalı olabilmesi için, projenin özel anlambilimi, araçları ve süreçlerine göre özelleştirilmesi amacıyla önemli kaynaklar gerektirdiğinin altı çizildi.
Grinstead, ekiplerinin geliştirdiği harness'ı "LLM'i bir hedefi gerçekleştirmesi için yönlendiren kod" olarak tanımladı. Bu harness'ın modele talimatlar verdiğini (örneğin, 'bu dosyada bir hata bul'), araçlar sağladığını (dosya okuma/yazma, test senaryoları çalıştırma gibi) ve tamamlanana kadar bir döngü içinde çalıştırdığını belirtti. Harness, Mythos'a, insan Mozilla geliştiricilerinin kullandığı araçlara ve iş akışlarına erişim sağladı; buna test amacıyla kullanılan özel Firefox derlemesi de dahildi.
Grinstead, ek doğrulamanın, ilk LLM'den gelen çıktıyı derecelendiren ikinci bir LLM aracılığıyla sağlandığını belirtti. Yüksek bir puan, geliştiricilere daha geleneksel keşif yöntemleriyle üretilen raporlara bakarken sahip oldukları güveni verdiğini söyledi.
Grinstead, "Ortaya çıkan hatalar açısından, neredeyse hiç yanlış pozitif yoktu" diye ekledi.
Mozilla, yayınladığı bilgilendirmede, Mythos ve bir miktar da Claude Opus 4.6 kullanarak keşfettiği 271 güvenlik açığından 12 tanesinin tam Bugzilla raporlarını kamuoyu ile paylaştı. Her raporda, güvenli olmayan bir bellek koşulunu tetikleyen test senaryoları (yani HTML veya diğer kodlar) da yer alıyor ve bunlar, Mozilla'nın Firefox'taki tüm hataları güvenlik açığı olarak kabul etmesi için gereken kriterleri karşılıyor. Yapılan ilk incelemelere göre, bir araştırmacı bu raporların "oldukça etkileyici" olduğunu belirtti.
Grinstead, geçmişteki güvenlik açığı bildirimlerindeki dağınıklığın aksine, harness destekli Mythos analizinden elde edilen ve ikinci LLM tarafından doğrulanan, nihayetinde raporlara dahil edilen detayların, ekibin daha önce sahip olmadığı bir güven seviyesi sağladığını söyledi.
"Operasyonlarımızı şu anda bulunduğumuz ölçekte yürütme yeteneğimizi ortaya çıkaran anahtar unsur bu," dedi. "Mühendise 'Evet, bu sorunlu' diyebileceği ve ardından kodu yineleyip sorunu ne zaman düzelttiğini net bir şekilde bilebileceği, sonunda test senaryosunu geriye dönük bir hataya neden olmayacak şekilde entegre edebileceği bir düğme veriyor."
Daha önce de belirtildiği gibi, Mozilla'nın yapay zeka destekli güvenlik açığı keşfini bir dönüm noktası olarak nitelendirmesi, birçok kesimde büyük ve sesli bir şüphecilikle karşılanmıştı. Eleştirmenler, Mozilla'nın bulduğu 271 güvenlik açığı için herhangi bir CVE (Ortak Zafiyet Tanımlayıcı) numarası almamasına başlangıçta burun kıvırmıştı. Ancak birçok geliştirici gibi Mozilla da dahili olarak keşfedilen güvenlik hataları için CVE listesi almıyor. Bunun yerine, bu hatalar tek bir yama (patch) içinde birleştiriliyor. Normalde, bu "toplu yama"ları detaylandıran Bugzilla raporları, yama yapmayı geciktirenlere karşı koruma sağlamak amacıyla düzeltildikten sonra birkaç ay gizli tutulur. Mozilla şimdi bunlardan bir düzinesini ortaya çıkardığına göre, aynı eleştirmenler bu raporların da seçici bir şekilde sunulduğunu ve daha az doğru sonuçların gizlendiğini iddia edecektir.
Mythos kullanılarak bulunan 271 hatanın 180'i, Mozilla'nın dahili olarak bildirilen güvenlik açıklarına en yüksek derecesi olan "sec-high" olarak belirlendi. Bu tür güvenlik açıkları, bir web sayfasına göz atmak gibi normal kullanıcı davranışları yoluyla istismar edilebilir. (Daha yüksek olan "sec-critical" derecesi ise yalnızca sıfır gün açıkları için ayrılmıştır.) Diğer 80'i "sec-moderate" ve 11'i "sec-low" olarak sınıflandırıldı.
Eleştirmenlerin geri durmaya devam etmesi doğru bir hareket. Spekülasyon (hype), yapay zeka şirketlerinin zaten şişirilmiş değerlemelerini daha da artırmanın önemli bir yolu. Mozilla'nın Mythos'a verdiği kapsamlı övgü göz önüne alındığında, daha fazla güvenen insanların bile merak etmesi kolay: Karşılığında ne elde ediyor? Perşembe günü yapılan detaylandırmalar, tartışmayı çözmekten çok, muhtemelen daha da alevlendirecek.
Ancak Grinstead'in anlatımına göre, detaylar yapay zeka destekli keşfin kullanışlılığının açık kanıtıdır ve Mozilla'nın motivasyonu basittir.
"İnsanlar son bir yıldaki bu 'çöp' kod teslimlerinden biraz yandı, bu yüzden çalışmalarımızın bazı yönlerini göstermenin, bazı hataları açığa çıkarmanın ve daha fazla ayrıntıyla konuşmanın, umarım bazı eylemleri teşvik etmenin veya sohbeti sürdürmenin bir yolu olacağını hissettik," dedi. "Burada herhangi bir pazarlama amacı yok. Ekibimiz bu yaklaşıma tamamen inanmış durumda. Belirli bir model sağlayıcısı, şirket veya benzeri herhangi bir şeyden ziyade, genel olarak bu teknik hakkında bir mesaj iletmeye çalışıyoruz."
