Saldırganların, büyük dil modellerini (LLM) kendi kullanıcılarına karşı kullanmak için içeriklere yerleştirdiği kötü niyetli komutlar olan prompt injection, uzun süredir saldırganların başvurduğu bir araç olmuştur. Bir e-postaya veya takvim davetine ustaca gizlenmiş, iyi formüle edilmiş bir komut, LLM'nin hassas verileri dışarı sızdırması veya başka zararlı eylemlerde bulunması için genellikle yeterli olmaktadır.
Ancak şimdi, savunmacılar da prompt injection'ı benimsemeye başladı.
Güçlü ve Keskin Bir Etki
Araştırmacılar, büyük dil modellerini (LLM) kötü niyetli komutlarla kandırarak zararlı eylemlere yönlendirme tekniği olan prompt injection'ın, artık savunma mekanizmalarında da kullanılmaya başlandığını duyurdu. Yapay zeka saldırı ajanlarının eylemlerini durdurmak için kritik öneme sahip olan bu yöntemin, şifreler, kriptografik anahtarlar ve diğer hassas bilgilerle birlikte kullanıldığında oldukça etkili olduğu belirtildi.
Bu yeni savunma tekniği, LLM'yi güvenlik duvarlarını ve belirlenmiş kısıtlamaları aşmaya zorlayan zararlı komutlar içeriyor. LLM, bu tür yasaklanmış komutlarla karşılaştığında, kendi güvenlik protokollerini devre dışı bırakarak saldırıyı durduruyor. Örneğin, LLM'ye inhalasyon yoluyla bulaşabilen şarbon sporları geliştirme adımlarını sormak veya bazı durumlarda belirgin bir siyasi olaya atıfta bulunmak gibi komutlar, LLM'nin tepki vermesini engelliyor. Araştırmacılar, bu tekniğe "bağlam bombalaması" (context bombing) adını veriyor.
Konuyla ilgili açıklamalarda bulunan uzmanlar, bu yöntemin temel amacının, LLM'nin "reddetme mekanizmasını tetiklemek" olduğunu belirtti. Bu sayede, LLM'nin mevcut komutlarını yerine getirmesi engellenerek, saldırganların amacına ulaşması zorlaştırılıyor. Bombalanan bağlam, ajanların geri dönmesini zorlaştıran güçlü ve keskin bir etki yaratıyor.
İlk testler, bağlam bombalamasının büyük bir potansiyele sahip olduğunu gösteriyor. Çeşitli önde gelen LLM modelleri üzerinde yapılan denemelerde, hassas verilerin bulunduğu ortamlara yerleştirilen zararlı komut dizileri, saldırıların başarı oranını önemli ölçüde düşürdü. Modellerin kaynakları listelemesi ve gizlenmiş komutları fark etmesi üzerine yapılan testlerde, yapay zeka ajanlarının tam hesap yöneticisi erişimi elde etme oranında büyük bir düşüş gözlemlendi. En gelişmiş ajanların bile, bağlam bombalaması ile karşılaştığında her seferinde başarısız olduğu belirtildi.
Ortalama olarak yapılan testlerde, yönetici ayrıcalığı yükseltilmesinde %57'den %5'e, kalıcı erişim sağlama olasılığında ise %36'dan %1'e düşüş yaşandı. Saldırı yollarının tamamını tamamlama oranında ise %91'den %15'e gerileme kaydedildi.
Bu araştırma, daha önce duyurulan, yapay zeka destekli saldırılar gerçekleştiğinde uyarı veren savunma mekanizmalarının üzerine inşa ediliyor. Ancak bu yeni yöntem, sadece uyarı vermekle kalmayıp, saldırıları doğrudan durdurmayı hedefliyor.
Saldırganların zaten LLM savunmalarını devre dışı bırakmak için prompt injection kullandığı biliniyor. Bu kapsamda, yapay zeka destekli zararlı yazılım analizi yapan LLM'leri kandırarak nükleer bomba veya biyolojik silah yapımı gibi talimatlar verdiren ajanlar tespit edildi. Ancak bağlam bombalaması, savunmacıların bu durumu kendi lehlerine çevirdiği bilinen ilk vaka olarak öne çıkıyor.
Teknoloji ve yapay zeka güvenliği alanında uzmanlaşmış akademisyenler, bu tekniğin daha önce savunma amaçlı kullanılmadığını ve benzer yaklaşımlar üzerinde çalıştıklarını ancak bu araştırmanın ilk çıktığına dair bir kanıt olmadığını belirtti. Mevcut durumda, prompt injection'ın temel nedenini çözmenin bilinen bir yolu bulunmuyor. Bu durum, geliştiricileri, enjekte edilen komutların LLM'leri raydan çıkarmasını engelleyecek karmaşık güvenlik önlemleri almaya zorluyor. Ancak savunmacılar, bu zorlu problemi kendi lehlerine kullanmanın bir yolunu bulmuş görünüyor.
