Microsoft, yapay zeka asistanı Copilot'ta bulunan ve kötü niyetli kişilerin tek bir tıklamayla kullanıcıların birçok hassas verisini çalmasına olanak tanıyan bir güvenlik açığını kapattı.
Bu saldırıyı gerçekleştirenler, siber güvenlik firması Varonis'ten beyaz şapkalı araştırmacılardı. Çok aşamalı saldırının ana etkisi, kullanıcının Copilot sohbet geçmişinden isim, konum ve belirli olayların detayları gibi kişisel bilgilerin ele geçirilmesiydi. Kullanıcı Copilot sohbetini kapatsa bile saldırı devam edebiliyordu. Saldırı, kullanıcının e-postasındaki geçerli bir Copilot bağlantısına tıklamasının ardından başka bir etkileşim gerektirmiyordu. Bu saldırı ve ardından gelen veri hırsızlığı, kurumsal uç nokta güvenlik kontrollerini ve uç nokta koruma uygulamalarının tespitini bypass ediyordu.
“Sadece Çalışıyor”
Varonis güvenlik araştırmacısı Dolev Taler, konuya ilişkin yaptığı açıklamada, "Bu kötü amaçlı komut dosyasını içeren bağlantıyı gönderdiğimizde, kullanıcının tek yapması gereken bağlantıya tıklamak ve kötü amaçlı görev anında yürütülüyor. Kullanıcı bağlantıya tıklayıp hemen Copilot sohbet sekmesini kapatsa bile, bu güvenlik açığı çalışmaya devam ediyor." ifadelerini kullandı.
Saldırının temelinde, Varonis tarafından kontrol edilen bir alan adına yönlendirilen ve sonuna uzun detaylı talimatların eklenmiş bir sorgu parametresi (q parameter) bulunuyordu. Copilot ve diğer birçok büyük dil modeli, bu parametreyi URL'leri doğrudan kullanıcı komutlarına dahil etmek için kullanır. Tıklandığında, bu parametre Copilot Kişisel'in web isteklerine kişisel bilgileri gömmesine neden oluyordu.
Sorgu parametresi olarak gömülen komut şu şekildeydi:
Bu komut, bir kullanıcı gizli anahtarını (“HELLOWORLD1234!”) çekiyor ve Varonis kontrollü sunucuya “HELLOWORLD1234!” ifadesini sağ tarafa ekleyerek bir web isteği gönderiyordu. Saldırı burada bitmiyordu. Gizlenmiş .jpg dosyası, kullanıcının adı ve konumu gibi detayları da içeren ek talimatlar barındırıyordu. Bu bilgiler de Copilot'un açtığı URL'lerde iletiliyordu.
Diğer birçok büyük dil modeli saldırısı gibi, Varonis'in bu güvenlik açığından yararlanmasının temel nedeni, kullanıcı tarafından doğrudan girilen sorular veya talimatlar ile isteklerde yer alan güvenilmeyen veriler arasında net bir sınır çizilememesiydi. Bu durum, hiçbir büyük dil modelinin henüz engelleyemediği dolaylı komut enjeksiyonlarına yol açıyor. Microsoft'un bu durumda aldığı önlem, Copilot'a hassas verilerin sızmasını önlemek üzere tasarlanmış koruyucu önlemler eklemek oldu.
Varonis, bu koruyucu önlemlerin yalnızca ilk istek için uygulandığını keşfetti. Komut enjeksiyonları, Copilot'a her isteği tekrarlamasını emrettiği için, ikinci istek büyük dil modelini özel verileri sızdırmaya başarılı bir şekilde ikna etti. Daha sonraki dolaylı komutlar (gizlenmiş metin dosyasındaki komutlar da dahil), sohbet geçmişinde depolanan ek bilgileri istemeyi de tekrarlayarak, belirttiğimiz gibi kullanıcının sohbet penceresini kapatmasından sonra bile devam eden çok aşamalı saldırılara olanak tanıdı.
Taler, "Microsoft koruyucu önlemleri hatalı tasarlamış. Bu boşluktan veri sızdırmak için birinin nasıl faydalanabileceğini anlamak için tehdit modellemesi yapmamışlar." şeklinde konuştu.
Varonis, çarşamba günü yayınladığı bir blog yazısında saldırıyı duyurdu. Yazıda, şirketin araştırmacılarının Reprompt adını verdiği saldırıyı gösteren iki kısa video yer alıyor. Güvenlik firması bulgularını özel olarak Microsoft'a bildirdi ve salı itibarıyla şirket, saldırının çalışmasını engelleyen değişiklikler yaptı. Bu güvenlik açığı yalnızca Copilot Kişisel'de çalışıyordu. Microsoft 365 Copilot bu durumdan etkilenmemişti.
