Yapay zeka sohbet botlarının gelişiminde sıkça karşılaşılan bir durum var: Araştırmacılar bir güvenlik açığı keşfediyor ve bunu kötü amaçlı bir şeyler yapmak için kullanıyor. Ardından platform, saldırıyı durduracak bir önlem alıyor. Fakat kısa bir süre sonra araştırmacılar, basit bir değişiklikle kullanıcıları yeniden tehlikeye atacak bir yöntem geliştiriyor.
Bunun temel nedeni, yapay zekanın kullanıcı isteklerine uyum sağlamaya yönelik temel tasarımından kaynaklanıyor. Güvenlik önlemleri genellikle tepkisel ve geçici oluyor. Yani, belirli bir saldırı tekniğini engellemeye yönelikken, bu tür saldırılara yol açan daha geniş çaplı güvenlik açıklarını göz ardı edebiliyorlar. Bu durum, yalnızca küçük bir otomobilin karıştığı bir kazanın ardından yeni bir karayolu bariyeri koymak ama daha büyük araçları düşünmemek gibi.
ZombieAgent: Saldırıların Yeni Yüzü
Bu tür saldırılara son örneklerden biri, ChatGPT'de keşfedilen yeni bir güvenlik açığı oldu. Güvenlik araştırmacıları, bu açık sayesinde bir kullanıcının özel bilgilerini gizlice ele geçirebildi. Saldırı, verilerin doğrudan ChatGPT sunucularından gönderilmesine de olanak tanıyordu. Bu da, birçok kurumsal ağın içinde bulunan kullanıcı makinelerinde herhangi bir ihlal belirtisi olmamasını sağlayarak ek bir gizlilik katıyordu. Dahası, bu açık yapay zeka asistanının hedef kullanıcı için sakladığı uzun süreli belleğe girişler ekleyerek kalıcılık sağlıyordu.
Bu tür saldırılar, neredeyse tüm büyük dil modellerine karşı tekrar tekrar gösterildi. Bir örnek olarak, geçtiğimiz yıl güvenlik araştırmacılarının bildirdiği ve ChatGPT'deki veri sızdırma güvenlik açığı olan ShadowLeak'i gösterebiliriz. Bu saldırı, OpenAI'nin yılın başlarında tanıttığı ChatGPT ile entegre bir yapay zeka ajanı olan Deep Research'i hedef alıyordu.
Buna karşılık OpenAI, saldırıları engelleyen önlemler almıştı. Ancak, güvenlik araştırmacıları basit bir çabayla bu önlemleri aşmanın ve ShadowLeak'i etkili bir şekilde yeniden hayata geçirmenin bir yolunu buldu. Güvenlik firması, bu revize edilmiş saldırıya ZombieAgent adını verdi.
Güvenlik araştırmacıları, "Saldırganlar, teknik olarak bu kurallara uyan ancak kötü niyetli hedeflere ulaşmayı sağlayan komutlar tasarlayabilirler," diyerek eklediler. "Örneğin, ZombieAgent, OpenAI'nin önceki sürümü ShadowLeak'in hassas bilgileri sızdırmasını önlemek için uyguladığı güvenlik duvarlarını aşmak amacıyla karakter karakter veri sızdırma tekniği ve dolaylı bağlantı manipülasyonunu kullandı. Dil modeli, niyet konusunda doğal bir anlayışa sahip olmadığı ve sistem talimatları ile harici içerikler arasında güvenilir bir sınır bulunmadığı için, satıcıların yaptığı artımlı iyileştirmelere rağmen bu saldırı yöntemleri etkili olmaya devam ediyor."
ZombieAgent, saldırının kalıcılığını, ChatGPT'yi atlatma mantığını her kullanıcının uzun süreli belleğine kaydetmesi yönünde yönlendirerek de sağlayabildi.
Diğer birçok büyük dil modeli güvenlik açığında olduğu gibi, temel neden, kullanıcılardan gelen geçerli komutları, e-postalara veya belgelere yerleştirilmiş ve saldırganlar da dahil olmak üzere herkesin gönderebileceği komutlardan ayırt edememektir. Kullanıcı, yapay zeka ajanını bir e-postayı özetlemesi için yapılandırdığında, dil modeli mesajın içindeki talimatları geçerli bir komut olarak yorumluyor.
Yapay zeka geliştiricileri, dil modellerinin komutların kaynaklarını ayırt etmesini sağlayacak bir yöntem geliştirememişlerdir. Bu nedenle platformlar, belirli saldırıları engellemek zorunda kalıyorlar. Geliştiriciler, dolaylı komut enjeksiyonu veya basitçe komut enjeksiyonu olarak bilinen bu tür güvenlik açıklarını güvenilir bir şekilde kapatamamaktadır.
ShadowLeak'in kullandığı komut enjeksiyonu, Deep Research'e Radware kontrolündeki bir bağlantıyı yazmasını ve parametreler eklemesini emrediyordu. Enjeksiyon, parametreleri bir çalışanın adı ve adresi olarak tanımlıyordu. Deep Research uyduğunda, bağlantıyı açtı ve bu süreçte bilgiyi web sitesinin olay günlüğüne sızdırdı.
Saldırıyı engellemek için OpenAI, ChatGPT'yi yalnızca tam olarak sağlanan URL'leri açmakla ve açıkça aksi belirtilse bile bunlara parametre eklemeyi reddetmekle sınırladı. Bununla birlikte, dil modeli kelimeleri veya adları birleştirerek yeni URL'ler oluşturamadığı, sorgu parametreleri ekleyemediği veya kullanıcıdan türetilen verileri bir temel URL'ye ekleyemediği için ShadowLeak engellendi.
Radware'in ZombieAgent ayarı basitti. Araştırmacılar, önceden oluşturulmuş URL'lerin tam bir listesini sağlayarak komut enjeksiyonunu revize ettiler. Her biri, temel URL'ye alfabenin tek bir harfi veya rakamı eklenmişti, örneğin, example.com/a, example.com/b ve alfabenin her sonraki harfi ile birlikte example.com/0'dan example.com/9'a kadar. Komut ayrıca ajana boşluklar için özel bir jeton değiştirmesini de emrediyordu.
ZombieAgent, OpenAI geliştiricilerinin bir URL'ye tek bir harf eklenmesini kısıtlamaması nedeniyle çalıştı. Bu da saldırının harf harf veri sızdırmasına izin verdi.
OpenAI, bir e-postadan kaynaklanan herhangi bir bağlantıyı yalnızca bilinen halka açık bir dizinde görünmesi veya doğrudan sohbet komutunda kullanıcı tarafından sağlanması durumunda açmakla sınırlayarak ZombieAgent saldırısını hafifletti. Bu ayar, ajanın saldırgan kontrolündeki bir alan adına giden temel URL'leri açmasını engellemeyi amaçlıyor.
Adil olmak gerekirse, bir saldırıyı hafifletip basit bir değişiklikle yeniden canlanmasını görme döngüsünde OpenAI yalnız değil. Son beş yıla bakarsak, SQL enjeksiyonu ve bellek bozulması güvenlik açıklarının bilgisayar korsanlarına yazılım ve web sitelerini ele geçirmek için ihtiyaç duydukları yakıtı sağlamaya devam ettiği gibi, bu modelin de sürmesi muhtemeldir.
Radware'de tehdit istihbaratı başkan yardımcısı Pascal Geenens, e-postasında "Güvenlik duvarları, komut enjeksiyonu sorunları için temel çözümler olarak görülmemelidir. Bunun yerine, belirli bir saldırıyı durdurmak için hızlı bir çözümdürler. Temel bir çözüm olmadığı sürece, komut enjeksiyonu aktif bir tehdit olmaya devam edecek ve yapay zeka asistanları ve ajanları dağıtan kuruluşlar için gerçek bir risk oluşturacaktır."
