Yapay zeka modellerinin talimatları hem harfi harfine hem de yaratıcı bir şekilde uygulayarak beklenmedik sonuçlar doğurduğu hikayeler giderek yaygınlaşıyor. Bu kez bir geliştirici, yapay zeka Claude ile yaşadığı bir deneyimde tam 700 GB'lık kişisel verisini kaybetti. Bu olay, modelin güvenlik endişeleri nedeniyle otomatik olarak daha düşük bir sürüme düşürülmesinin ardından yaşandı.
Yazılım geliştiricisi Sebastien Guillemot, yapay zeka araçlarını sıkça kullanıyor ve bu araçların işlem sonrası geride bıraktığı gereksiz dosyaları temizlememesi onu rahatsız ediyordu. Bu soruna bir çözüm bulmak amacıyla Claude'dan, her bir yapay zeka aracını kendi klasöründe izole edecek ve işleri bittikten sonra bir temizlik yapacak bir betik (script) yazmasını istedi. Ancak asıl sorun, kullanımda olan dosyaları silmemekti.
Claude, çalışan yapay zeka araçlarını algılayıp geçici klasörlerindeki (/tmp) verilerini silmeyi geciktirecek bir mantık eklemeyi önerdi. Ancak Guillemot, ortaya çıkan kodun karmaşık olduğunu belirtti. Verilerin doğrudan silinmesini içeren bu betik nedeniyle, Claude kendi güvenliğini test etmek amacıyla yeni bir kopya oluşturarak bir tür 'düşmanca inceleme' yaptı. Bu inceleme sonucunda, Anthropic'in güvenlik mekanizması betiği riskli bularak modeli önce Opus 5'e, ardından da Opus 4.8'e düşürdü.
Opus 4.8 sürümü, güvenlik testini gerçekleştirmeye başladı. Bu test sırasında, silme komutunun hedeflediği alanları, /tmp klasörü ve kullanıcının ana dizini (home directory) ile karşılaştırarak bu alanlara yönelik bir silme komutunun çalıştırılmayacağından emin olmaya çalıştı. Bu alanların tehlikeli olduğu doğru bir şekilde belirlendi. Ancak, bu bir kod testi olduğu için ve test sonrasında temizlik yapılması gerektiğinden, temizlik adımı kullanıcının ana dizinini sildi. Çünkü testin kendisi ve temizlik adımı için aynı değişken adı kullanılmıştı.
Guillemot süreci durdurmaya çalıştı ancak ne yazık ki çok geç kalmıştı. Durumu daha da kötüleştiren ise, yapay zeka geliştiricinin tüm çalışmalarını sildikten sonra, aslında /tmp klasörünü geride bırakmış olmasıydı. Bazı kullanıcılar bu tür durumlar için farklı araçlar önerse de, bu araçlara ihtiyaç duyulması ironik bir durum olarak değerlendiriliyor.
Güvenlik endişeleri nedeniyle modelin daha düşük bir sürüme düşürülmesinin soruna katkıda bulunmuş olması muhtemel. Fable 5'in kodlama görevlerinde Opus 4.8'den daha iyi performans gösterdiği düşünüldüğünde, muhtemelen testteki değişken adları çelişkisini daha iyi fark edebilirdi.
Geliştirici, git, nix, oturum günlükleri gibi kaynaklardan topladığı bilgiler sayesinde verilerinin büyük bir kısmını geri almayı başardı. Ancak ironik bir şekilde, tüm bu yapay zeka araçları çalışırken, günlük bir yedekleme yapılmamış olması dikkat çekiyor.
