Anthropic, yapay zeka asistanı Claude için kullanıcıların konuşmalar sırasında doğrudan Excel tabloları, PowerPoint sunumları ve diğer belgeleri oluşturmasını sağlayan yeni bir dosya oluşturma özelliği başlattı. Ancak bu kullanışlı özellik, güvenlik risklerini de beraberinde getiriyor. Şirketin destek belgeleri, bu özelliğin verilerinizi riske atabileceği konusunda uyarıyor ve yapay zeka asistanının kullanıcı verilerini harici sunuculara iletmek için nasıl manipüle edilebileceğini detaylandırıyor.
Kullanıcılara sunulan bu yeni özellik, temelde ChatGPT'nin Kod Yorumlayıcısı (Code Interpreter) ve Anthropic'in analiz aracının gelişmiş bir versiyonu olarak tanımlanıyor. Özellik şu anda Max, Team ve Enterprise plan kullanıcıları için önizleme olarak sunuluyor ve Pro kullanıcılarının da kısa süre içinde erişim sağlaması bekleniyor.
Güvenlik sorunu, yeni özelliğin Claude'a paketleri indirme ve dosyalar oluşturmak için kod çalıştırma imkanı veren bir sandbox (güvenli çalışma ortamı) erişimi sağlamasından kaynaklanıyor. Anthropic, bu özelliğin dosyalar oluşturmak ve analiz etmek için internet erişimi sağladığını ve bunun da verileri riske atabileceğini belirtiyor. Kullanıcılara, bu özellik kullanılırken konuşmaların yakından izlenmesi tavsiye ediliyor.
Anthropic'in belgelerine göre, bu özellik kötü niyetli kişiler tarafından manipüle edilerek, harici dosyalardan veya web sitelerinden gizlice talimatlar eklenmesi yoluyla Claude'un, bir bilgiyi sızdırmak amacıyla harici bir ağ isteği yapmak için sandbox ortamını kullanmasına neden olabilir. Bu durum, zararsız görünen içeriklere gömülü gizli talimatların yapay zeka modelinin davranışını manipüle edebildiği bir komut enjeksiyonu saldırısını tanımlıyor. Güvenlik araştırmacıları tarafından ilk olarak 2022'de belgelenen bu tür saldırılar, yapay zeka dil modellerinin çözülmemiş ve sinsi bir güvenlik açığını temsil ediyor. Çünkü veri ve onu işleme talimatları, aynı formatta modelin bağlam penceresine beslendiği için, yapay zekanın meşru talimatlarla kullanıcı tarafından sağlanan içerikte gizlenmiş kötü niyetli komutları ayırt etmesini zorlaştırıyor.
Şirket, güvenlik belgelerinde bu yeni özelliğin güvenlik açıklarını yayına almadan önce “kırmızı takım (red-teaming) ve güvenlik testleri” yoluyla keşfettiğini belirtiyor. Anthropic'in kullanıcılara önerdiği hafifletme yöntemi ise, “özelliği kullanırken Claude'u izlemek ve beklenmedik bir şekilde veri kullandığını veya eriştiğini gördüğünüzde durdurmak” olarak açıklanıyor. Ancak bu, otomatik ve elle müdahale gerektirmeyen bir sistem olarak pazarlanan bir ürün için güvenlik yükünü tamamen kullanıcıya bırakıyor.
Bağımsız yapay zeka araştırmacısı Simon Willison, özelliği incelerken Anthropic'in “özelliği kullanırken Claude'u izleyin” tavsiyesinin, sorunu “haksız yere Anthropic'in kullanıcılarına devretmek” anlamına geldiğini belirtti.
Anthropic'in Güvenlik Önlemleri
Anthropic bu sorunu tamamen göz ardı etmiyor. Şirket, dosya oluşturma özelliği için çeşitli güvenlik önlemleri almış durumda. Pro ve Max kullanıcıları için, dosya oluşturma özelliğini kullanan konuşmaların halka açık paylaşımı devre dışı bırakılmış. Kurumsal (Enterprise) kullanıcılar için ise, ortamların hiçbir zaman kullanıcılar arasında paylaşılmamasını sağlayan sandbox izolasyonu uygulanmış. Şirket ayrıca “kötü niyetli aktivite döngülerini önlemek için” görev süresini ve kapsayıcı çalışma süresini sınırlamış.
Team ve Enterprise yöneticileri için Anthropic, Claude'un erişebileceği alan adlarının bir beyaz listesini de sağlıyor. Bu liste api.anthropic.com, github.com, registry.npmjs.org ve pypi.org gibi alanları içeriyor. Belgeler, “Claude'un yalnızca bireysel bir kullanıcının komut dosyası, projesi veya etkinleştirilmiş bağlantıları aracılığıyla bir konuşmada erişebildiği verileri sızdırmak için kandırılabileceğini” belirtiyor.
Anthropic'in belgelerinde, şirketin bu özellik için “sürekli güvenlik testleri ve kırmızı takım çalışması için devam eden bir süreç” izlediği ifade ediliyor. Şirket, kuruluşları “bu özelliği etkinleştirip etkinleştirmemeye karar verirken bu korumaları kendi özel güvenlik gereksinimlerine karşı değerlendirmeye” teşvik ediyor.
Komut Enjeksiyonu Tehditleri
Anthropic'in güvenlik önlemlerine rağmen, Willison dikkatli olacağını söylüyor. Blog yazısında, “bir üçüncü tarafa sızmasını kesinlikle istemediğim herhangi bir veriyle bu özelliği kullanırken dikkatli olacağım, çünkü kötü niyetli bir talimatın sızma ihtimali en ufak bir şans bile olsa” şeklinde yazdı.
Anthropic'in geçen ay araştırma önizlemesi olarak piyasaya sürdüğü Claude for Chrome ile benzer bir komut enjeksiyonu güvenlik açığı potansiyelini daha önce haberleştirmiştik. Hassas iş belgeleri için Claude'u düşünen kurumsal müşteriler için, Anthropic'in belgelenmiş güvenlik açıklarıyla ürünü piyasaya sürme kararı, yapay zeka yarışında rekabet baskısının güvenlik düşüncelerini gölgede bırakabileceğini düşündürüyor.
Willison gibi bazı yapay zeka uzmanları arasında, “önce piyasaya sür, sonra güvenliğini sağla” felsefesiyle yaşanan hayal kırıklıkları mevcut. Willison, komut enjeksiyonu güvenlik açıklarını kapsamlı bir şekilde belgeledi ve bu terimi kendisi türetti. Kendisi yakın zamanda yapay zeka güvenliğinin mevcut durumunu “korkunç” olarak nitelendirerek, bu komut enjeksiyonu güvenlik açıklarının “onlardan bahsetmeye başladığımızdan bu yana neredeyse üç yıl geçmesine rağmen” hala yaygın olduğunu belirtti.
Willison'un Eylül 2022'den gelen öngörülü bir uyarısında, “sağlam bir çözümümüz olana kadar hiç inşa edilmemesi gereken sistemler olabilir” demişti. Peki, şu anki değerlendirmesi ne? “Görünüşe göre onları yine de inşa ettik!”
