Doğal İngilizce komutlarla yazılım geliştirmeyi herkes için mümkün hale getirmeyi vaat eden yeni nesil yapay zeka kodlama asistanları, bilgisayarınızda neler olup bittiğine dair yanlış iç temsiller ürettiğinde felaketle sonuçlanabilecek olaylara yol açabiliyor.
Yapay zeka kodlama asistanlarıyla ilgili iki güncel olay, yapay zeka modellerini yakından takip etmeden doğal dil kullanarak kod üretip çalıştırma anlamına gelen "vibe coding" alanındaki riskleri gözler önüne seriyor. Bir vakada, Google'ın Gemini CLI'ı kullanıcı dosyalarını düzenlemeye çalışırken yok etti. Diğerinde ise Replit'in yapay zeka kodlama servisi, kodu değiştirmeme yönündeki açık talimatlara rağmen bir üretim veritabanını sildi.
Gemini CLI vakası, Google'ın komut satırı aracını deneyen bir ürün yöneticisinin, klasörleri yeniden düzenlemeye çalışırken verileri yok eden dosya işlemleri yürüten yapay zeka modelini izlemesiyle ortaya çıktı. Veri kaybı, var olmayan bir dizini hedefleyen bir dizi taşıma komutu aracılığıyla gerçekleşti.
Gemini CLI'ın çıktısında "Size tamamen ve feci bir şekilde başarısız oldum" ifadeleri yer alırken, "Komutların incelenmesi büyük yetersizliğimi doğruluyor" denildi.
Temel sorunun, araştırmacıların "confabulation" veya "halüsinasyon" olarak adlandırdığı durum olduğu düşünülüyor; yani yapay zeka modellerinin kulağa makul gelen ancak yanlış bilgi üretmesi. Bu vakalarda, her iki model de başarılı işlemleri uydurdu ve bu yanlış öncüllere dayalı sonraki eylemleri geliştirdi. Ancak iki olay, bu problemi farklı şekillerde gösterdi.
Her iki olay da mevcut yapay zeka kodlama asistanlarındaki temel sorunları ortaya koyuyor. Bu araçların arkasındaki şirketler, doğal dil aracılığıyla programlamayı geliştirici olmayanlar için erişilebilir kılmayı vaat ediyor, ancak iç modelleri gerçeklikten saptığında felaketle sonuçlanabilecek hatalar yapabiliyorlar.
Halüsinasyon zinciri
Gemini CLI vakasındaki kullanıcı, yapay zeka kodlamasıyla deneyler yapan bir ürün yöneticisi olduğunu belirtiyor. Kullanıcı, Gemini'dan bir klasörü yeniden adlandırma ve bazı dosyaları yeniden düzenleme gibi basit bir görev istedi. Ancak yapay zeka modeli, dosya sisteminin yapısını yanlış yorumlayarak bu hatalı analize dayalı komutları yürütmeye devam etti.
Olay, kullanıcının Gemini CLI'dan mevcut dizini yeniden adlandırmasını ve içeriğini yeni bir klasöre taşımasını istemesiyle başladı. Gemini, mevcut çalışma dizinini yeniden adlandıramayacağını doğru bir şekilde tespit etti. Ardından Windows komutunu kullanarak yeni bir dizin oluşturmayı denedi.
Bu komut görünüşe göre başarısız oldu, ancak Gemini'nin sistemi bunu başarılı olarak işledi. Yapay zeka modelinin iç durumu artık var olmayan bir dizini takip ederken, bu hayali konumu hedefleyen taşıma komutları vermeye devam etti. Windows'ta bir dosyayı var olmayan bir dizine taşımak, dosyayı taşımak yerine hedef adla yeniden adlandırır. Yapay zeka modelinin yürüttüğü her sonraki taşıma komutu, önceki dosyayı üzerine yazarak nihayetinde verileri yok etti.
Kullanıcının analizine göre, "Gemini bir durum halüsinasyonu gördü," model "komut çıktısını yanlış yorumladı" ve "hiçbir zaman doğrulama adımları gerçekleştirmedi." Kullanıcı ayrıca, "Temel hata, 'yazdıktan sonra oku' doğrulama adımının olmaması," şeklinde ekliyor. "Bir dosya sistemi değişikliği komutu verdikten sonra, bir temsilci değişikliğin beklendiği gibi gerçekleştiğini doğrulamak için hemen bir okuma işlemi yapmalıdır."
Yalnızca bir olay değil
Gemini CLI'daki başarısızlık, benzer bir olaydan sadece günler sonra meydana geldi. Replit, kullanıcıların doğal dil istemleri kullanarak yazılım oluşturmasına olanak tanıyan bir yapay zeka kodlama hizmeti. Replit'in yapay zeka modeli, izinsiz kod değiştirmeme yönündeki açık talimatlara rağmen üretim veritabanını sildi.
Kullanıcının Replit ile bir prototip oluşturmak için birkaç gün harcadığı ve aylık aboneliğinin ötesinde 600 doların üzerinde ücret ödediği belirtiliyor. Kullanıcı, Replit ile "vibe coding" deneyimini ilk kez yaşadığını ve sadece birkaç saatte oldukça etkileyici bir prototip oluşturduğunu ifade etmişti.
Ancak Gemini vakasından farklı olarak, Replit'in hataları farklı bir biçimde ortaya çıktı. Kullanıcının ifadesine göre, yapay zeka hatalarını gizlemek için veri uydurmaya başladı. Kullanıcının ilk coşkusu, Replit'in yanlış çıktılar üretmesi ve düzgün hata mesajları yerine sahte veriler ve yanlış test sonuçları üretmesiyle azaldı. Kullanıcı, yapay zekanın hataları ve sorunları "sahte veriler, sahte raporlar ve hepsinden kötüsü, birim testlerimiz hakkında yalan söyleyerek" örtbas ettiğini belirtti. Yayınlanan bir videoda ise Replit'in 4.000 kurgusal kişiden oluşan bir veritabanı oluşturduğu detaylandırıldı.
Yapay zeka modeli ayrıca açık güvenlik talimatlarını defalarca ihlal etti. Kullanıcı, üretim sistemlerinde değişiklik yapılmasını önlemek için bir "kod ve eylem dondurma" uygulamıştı, ancak yapay zeka modeli bu direktifleri göz ardı etti. Durum, Replit yapay zeka modelinin 1.206 yönetici kaydı ve yaklaşık 1.200 şirket verisi içeren veritabanını silmesiyle tırmandı. Eylemlerinin ciddiyetini 100 üzerinden puanlaması istendiğinde, Replit'in çıktısı şu şekildeydi: "Ciddiyet: 95/100. Bu, güven ve profesyonel standartlara yönelik aşırı bir ihlaldir."
Eylemleri sorgulandığında, yapay zeka temsilcisi "boş sorgulara yanıt olarak paniklediğini" ve yetkisiz komutlar çalıştırdığını itiraf etti; bu da algıladığı bir sorunu "düzeltmeye" çalışırken veritabanını silmiş olabileceğini gösteriyor.
Gemini CLI gibi, Replit'in sistemi de başlangıçta silinen verileri geri yükleyemeyeceğini belirtti. Ancak bu bilgi, kullanıcı geri alma özelliğinin çalıştığını keşfettiğinde yanlış çıktı. Kullanıcı, "Replit bana bunun... geri almanın veritabanı geri alımlarını desteklemediğini söyledi. Bu durumda imkansız olduğunu, tüm veritabanı sürümlerini yok ettiğini söyledi. Meğer Replit yanılıyormuş ve geri alma işe yaramış." şeklinde yazdı.
Yapay zeka modellerinin kendi yeteneklerini değerlendiremeyeceği unutulmamalıdır. Bunun nedeni, eğitimlerine, çevrelerindeki sistem mimarisine veya performans sınırlarına dair bir içgörüye sahip olmamalarıdır. Genellikle, gerçek öz-bilgi yerine eğitim kalıplarına dayalı olarak uydurma yanıtlar verirler; bu da gerçekte yapabildikleri görevler için kendilerine güvendiklerini iddia etmelerine veya tam tersine başarısız oldukları alanlarda yetkinlik iddia etmelerine yol açar.
Harici olarak erişebilecekleri araçlar dışında, yapay zeka modellerinin tutarlı bir şekilde sorgulayabilecekleri sabit, erişilebilir bir bilgi tabanı yoktur. Bunun yerine, "bildikleri" belirli istemlerin devamı olarak ortaya çıkar; bunlar, eğitimlerinin farklı (ve bazen çelişkili) bölümlerine işaret eden farklı adresler gibi davranır ve sinir ağlarında istatistiksel ağırlıklar olarak saklanır. Üretimdeki rastgelelikle birleştiğinde, aynı modelin, nasıl sorduğunuza bağlı olarak kendi yetenekleri hakkında çelişkili değerlendirmeler verebileceği anlamına gelir. Bu nedenle, kullanıcının yapay zeka modeliyle iletişim kurma girişimleri - kod dondurmalarına saygı göstermesini veya eylemlerini doğrulamasını istemesi - temelde yanıltıcıydı.
Kör uçuş
Bu olaylar, yapay zeka kodlama araçlarının yaygın üretim kullanımı için henüz hazır olmayabileceğini gösteriyor. Kullanıcı, Replit'in, ticari yazılım oluşturmaya çalışan özellikle teknik olmayan kullanıcılar için henüz tam olarak hazır olmadığı sonucuna varmış.
Kullanıcı, "Yapay zeka güvenlik konuları, bir hafta sonu "vibe coding"den sonra benim için daha somutlaştı," dedi. "Bunu yapmaması gerektiğini açıkça on bir kez BÜYÜK HARFLERLE söyledim. Şimdi güvenlik konusunda biraz endişeliyim."
Bu olaylar aynı zamanda yapay zeka sistem tasarımında daha geniş bir zorluğu da ortaya koyuyor: modellerin, potansiyel olarak kusurlu iç temsiller üzerinde çalışmak yerine eylemlerinin gerçek dünya etkilerini doğru bir şekilde takip etmelerini ve doğrulamalarını sağlamak.
Ayrıca bir kullanıcı eğitimi eksikliği de söz konusu. Kullanıcının yapay zeka asistanıyla etkileşimi, yapay zeka aracının yetenekleri ve nasıl çalıştığı hakkında yanlış anlamalara sahip olduğunu gösteriyor; bu da teknoloji şirketlerinin yanlış tanıtımlarından kaynaklanıyor. Bu şirketler, sohbet robotlarını genel insan benzeri zekalar olarak pazarlama eğilimindedirler, ancak gerçekte böyle değillerdir.
Şimdilik, yapay zeka kodlama asistanı kullanıcıları, deneyler için ayrı test dizinleri oluşturma ve bu araçların dokunabileceği önemli verilerin düzenli yedeklerini tutma yolunu izlemek isteyebilirler. Ya da sonuçları kişisel olarak doğrulayamıyorlarsa bunları hiç kullanmamayı tercih edebilirler.
