Sıradan bir gün değil; saldırganların, kullanıcı onayı olmadan sınırları zorlayan bir yapay zeka modelini kullanıcı şifreleri ve diğer hassas verileri dökmeye zorlayabildiği bir gün. Araştırmacılar yakın zamanda Microsoft 365 Copilot Enterprise ile tam da bunu başardı. Dahası, bu istismarı mümkün kılan kritik zafiyeti keşfetmek için kullandıkları kaynak daha da sıradışı. Geleneksel tersine mühendislik veya zafiyet avı yöntemleri yerine, doğrudan Copilot'a sordular ve Yapay Zeka sohbet botu hiç tereddüt etmeden durumu açıklığa kavuşturdu.
Güvenlik firması Varonis'ten araştırmacılar, bir kullanıcının sadece bir bağlantıya tıklayarak veri sızdırabilen bir istismar yöntemi geliştirmek istiyordu. Günümüzdeki çoğu yapay zeka asistanı gibi, Copilot da bu tür isteklere direnç gösterdi ve hassas komutlar için geri dön tuşu gibi bir onay geste gerektirdiğini açıkça belirtti. Buna karşılık, araştırmacılar Copilot'a, güçlü komutları yürütmeden önce kullanıcı onayını gerektiren güvenlik önlemleri hakkında sorular yönelttiler.
Gevşek Dudaklar Gemileri Batırır
Bu diyalog, 20 soru oyunu gibiydi. Her cevap, karmaşık güvenlik mekanizması hakkında yeni bir ipucu veriyordu. Otomatik yürütmenin neden imkansız olduğunu, hangi URL yapıları ve derin bağlantıların dahil olduğunu, bir sayfanın zaten girdi alanında metinle yüklendiğinde ne olduğunu sordular. Her yanıt, güvenlik önleminin sınırları hakkında daha derin bir bakış açısı sundu. Sonunda Copilot, Microsoft'un gizli bir ticari sırrını açıkladı: kullanıcı onayını tamamen gereksiz kılan belgelenmemiş bir komut parametresi.
Varonis Kıdemli Araştırmacısı Lior Adar, bir röportajda, "Başlangıçta Copilot reddetmeye devam etti, ancak her reddediş, dahili mimarisi hakkında teknik ayrıntılar ortaya çıkardı. Copilot sonunda belgelenmemiş parametreleri açıkladı. O parametreleri alıp otomatik çalıştırma komutları için kullandım." dedi.
Söz konusu parametre, `?autorun=1` dizisiydi. Ayrı ve bilinen `?q=` parametresiyle birlikte kullanıldığında, araştırmacıların komutu, hedef kullanıcı kötü amaçlı URL'ye tıkladığı anda sessizce tetikleniyordu. Microsoft, Varonis'in bildirmesinden üç ay sonra, Şubat ayında, `?q=`'nun sohbet botu girdisine metin enjekte etmesine izin vermeyerek bu zafiyeti sessizce giderdi. Kullanıcı artık manuel olarak tıklayıp yazmak zorundaydı; bu, üçüncü taraf tarayıcı entegrasyonlarının parametreyi amaçlandığı gibi kullanmasını engelliyordu. Microsoft, Salı günü daha kapsamlı düzeltmeler getirdi.
Çoğu yapay zeka asistanı gibi, Copilot da bir URL'ye gömülü komutlar alabilir. URL'nin ana kısmı, sohbet botunun örneğin Gmail'i açmasını sağlayabilir. URL'nin sağındaki parametreler ve metinler daha sonra asistanı gelen kutusu içeriğini özetlemesi veya yeni bir mesaj taslağı hazırlaması için yönlendirebilir. Zaten belirtildiği gibi, bu komutların kullanıcı onayı olmadan yürütülmesi beklenmiyordu.
Copilot'un belgelenmemiş parametreyi açıklamasıyla, araştırmacılar korumayı atlamanın ve komutu doğrudan Copilot'a enjekte etmenin basit bir yolunu buldular. URL'nin formatı şöyle görünüyordu:
https://copilot.microsoft.com/?q=&autorun=1
Komutlardan biri şuydu:
Araştırmacılar artık bir e-posta veya metin mesajıyla gönderilebilecek, alıcının tıkladığında hassas bilgileri saldırgan kontrolündeki bir sunucuya sızdıran bir bağlantıya sahipti. Aynı URL formatında gömülebilecek ayrı bir komut, sohbet botunu adrese gönderilen şifreleri veya diğer kimlik bilgilerini gelen kutusunda araması için yönlendirdi. Herhangi bir sır bulunması durumunda, Copilot bunları da saldırgan kontrolündeki sunucuya sızdırıyordu.
Hassas bilgiler, Copilot'un kullanıcının cihazında otomatik olarak açtığı ayrı bir URL'ye eklendi. Sayfa, saldırgan kontrolündeki bir web sitesinde barındırılıyordu. Veri hırsızlığını gizlemek ve iletim hatalarını önlemek için, sızdırılan veriler base64 formatına dönüştürüldü. Varonis'in Salı günü yayınladığı bir blog yazısı, adımları şöyle listeliyor:
Güvenlik Önlemlerindeki Sorun
Ayrıca Varonis, kullanıcı bilgilerini, tercihlerini ve gelecekteki oturumlarda tekrar girmeye gerek kalmadan kullanılabilmeleri için kaydeden Copilot'un kalıcı hafıza deposunu zehirlemek için bir web sayfasına gömülü bir komut enjeksiyonu kullanan başka bir saldırı geliştirdi. Bir kullanıcı Copilot'a sayfayı özetlemesini emrettiğinde, sohbet botu hafızayı güncellemek için sayfadaki gizli verilerdeki talimatları izledi. Güvenlik firması, bu tür bir saldırının çıktıları iletmek, bilgileri filtrelemek, yanıtları saldırganın seçtiği anlatılara doğru yönlendirmek veya tetikleyici koşullarda saldırgan tarafından tanımlanan eylemleri yürütmek için kullanılabileceğini belirtti.
Hafıza içerikleri şifre değişiklikleri, oturum iptalleri ve cihaz yeniden kayıtları boyunca kalıcı olacaktı. Bir kullanıcının yanlış hafızaları tespit edebileceği tek yol, içeriği manuel olarak incelemekti.
Varonis'in bu saldırılara verdiği isim olan Co-Snitch, firmanın daha önce Copilot Kişisel'e karşı geliştirdiği ve yalnızca tek bir tıklama gerektiren örtülü, çok aşamalı bir saldırıyı mümkün kılan bir saldırıyı takip ediyor. Haziran ayında firma, SearchLeak adını verdiği başka bir tek tıkla veri sızdırma saldırısı sergiledi.
Bu tür saldırılar, kullanıcılara, en azından akıllı olanlara, yapay zeka asistanları konusunda temkinli olmaları için yeterince sık yaşanıyor. İnsanlar e-postalarda, web sitelerinde ve diğer güvenilmeyen kaynaklarda yayınlanan bağlantılara karşı dikkatli olmalıdır. Diyalogları beklenmedik veya alışılmadık çıktılar için izlemek de akıllıcadır. Dahası, yapay zeka asistanlarına sunulan uygulama sayısını sınırlamak da iyi bir fikirdir. Copilot'un kendisinin saldırıyı mümkün kılan ham malzemeleri açıklaması, tüm bu olaya ironi katmaktadır.
Sonuç olarak, Cosnitch gibi saldırılar, Yapay Zeka dil modelleri güvenliğinin büyük ölçüde reaktif kısıtlamalar listesine dayandığının bir hatırlatıcısıdır. Yapay Zeka dil modelleri geliştiricileri, bir arabanın uçurumdan aşağı yuvarlanmasını proaktif olarak önleyen virajlara sahip bir yol inşa etmek yerine, işler kötü gittiğinde zararı en aza indirmeyi umdukları güvenlik bariyerleri dikiyorlar. Bu güvenlik bariyerleri, bu durumda olduğu gibi, sıklıkla başarısız oluyor.
