Anthropic araştırmacıları tarafından ortaya atılan ve bir Çin devlet destekli casusluk grubunun siber saldırı kampanyasının büyük bir kısmını otomatikleştirmek için yapay zeka (YZ) modelini kullandığı iddiası, hem endişe hem de şüpheyle karşılandı. Bu gelişmenin ardından, siber güvenlik camiası olayın gerçek boyutunu ve yapay zeka modelinin ne kadar otonom olduğunu anlamaya çalışıyor.
Şirket yetkilileri tarafından yapılan açıklamada, mühendislerin, büyük dil modelini (LLM) kullanarak dünya genelinde 30 kuruluşa yönelik keşif ve sömürme çabalarının yaklaşık %80-90'ını planlayan ve yürüten, büyük ölçüde otonom olduğu belirtilen bir operasyonu engelledikleri duyuruldu. Bu operasyonun, hedef seçimi ve veri çalma gibi kritik kararlar dışında büyük ölçüde yapay zeka tarafından yürütüldüğü ifade edildi.
Mühendislerin, ürünleri genelinde tespit ettikleri bir dizi kötüye kullanım denemesinin, Çin devlet destekli bir casusluk grubuna bağlı operatörlere kadar uzandığını belirttikleri kaydedildi. Saldırganların, Anthropic'in Claude kod modelini teknoloji, finans ve hükümet gibi çeşitli sektörlerdeki hedeflere yönelttiği, bu modeli keşif, zafiyet analizi, sömürü üretimi, kimlik bilgisi toplama ve veri sızdırma gibi görevler için kullandığı iddia edildi. Açıklamaya göre, insan müdahalesi sadece hedef seçimi ve çalınan verinin ne zaman çekileceği gibi üst düzey kararlarla sınırlı kaldı.
Mühendisler daha sonra, otomatik görev zincirleme belirtisi taşıyan olağandışı örüntüleri işaretleyen izleme ve kötüye kullanım tespit sistemleri aracılığıyla kampanyayı şirket içinde engelledi. Ayrıca, saldırganların kötü niyetli hedefleri daha küçük adımlara bölerek ve bunları zararsız penetrasyon testi görevleri olarak çerçeveleyerek modelin güvenlik önlemlerini aşmaya çalıştıkları belirtildi. Bu yaklaşım, araştırmacılar tarafından "görev ayrıştırma" olarak adlandırılıyor. Anthropic tarafından yayınlanan örneklerde, modelin talimatları yerine getirme girişimlerinin hata ürettiği, yanıltıcı bulgular ve bariz şekilde geçersiz kimlik bilgileri içerdiği gözlemlendi.
YZ Destekli mi, İnsan Odaklı mı Bir Saldırı?
Şirketin anlatısı oldukça çarpıcı: Yapay zekanın saldırıyı adeta pilotladığı, "benzeri görülmemiş" bir YZ güdümlü casusluk örneği. Ancak herkes, otonomi seviyesinin Anthropic'in öne sürdüğü kadar dramatik olduğundan emin değil.
Columbia Üniversitesi ve New York Üniversitesi'nde misafir öğretim görevlisi olan Mike Wilkes, saldırıların kendisinin temel nitelikte olduğunu ancak yeniliğin orkestrasyonda yattığını belirtti. Wilkes, saldırıların kendisinin sıradan olduğunu ancak yapay zeka tarafından büyük ölçüde yönlendirilen orkestrasyon unsurunun ürkütücü olduğunu söyledi. İnsan destekli YZ'ye karşı YZ destekli insan saldırıları arasındaki anlatının tersine döndüğünü belirten Wilkes, bu durumu kavramın sadece bir "hello world" gösterimi olarak düşünmek gerektiğini ve saldırıların içeriğini küçümseyenlerin, temsil ettiği "seviye atlamayı" gözden kaçırdığını vurguladı.
Diğer uzmanlar ise operasyonun Anthropic'in vurguladığı %90 otomasyon seviyesine gerçekten ulaşıp ulaşmadığını sorguluyor.
Manchester Metropolitan Üniversitesi'nde veri bilimi ve yapay zeka alanında kıdemli öğretim görevlisi Seun Ajao, hikayenin birçok unsurunun makul olduğunu ancak muhtemelen abartıldığını söyledi. Ajao'ya göre, devlet destekli gruplar yıllardır iş akışlarında otomasyon kullanıyor ve LLM'ler zaten komut dosyaları üretebilir, altyapıları tarayabilir veya zafiyetleri özetleyebilir. Anthropic'in açıklamasında, modeli aşmak için "görev ayrıştırma" kullanımı, YZ'nin yanıltıcı bulgularını düzeltme ihtiyacı ve hedeflerin sadece küçük bir kısmının ele geçirilmiş olması gibi "doğru olduğu anlaşılan detaylar" bulunduğunu ekledi.
Ajao, "Söz konusu saldırının otonomisi abartılmış olsa bile, endişe edilmelidir" diyerek, hazır YZ araçlarıyla siber casusluğun eşiğinin düşmesini, ölçeklenebilirliği ve model kullanımının izlenmesi ile denetlenmesindeki yönetim zorluklarını gerekçe gösterdi.
St. Gallen Üniversitesi'nde siber güvenlik profesörü Katerina Mitrokotsa da yüksek otonomi çerçevesine benzer şekilde şüpheci yaklaşıyor. Olayın, YZ'nin insan yönlendirmesi altında bir orkestrasyon motoru olarak hareket ettiği "hibrit bir model" gibi göründüğünü belirtiyor. Anthropic saldırıyı uçtan uca YZ tarafından yönetilmiş olarak çerçevelese de, Mitrokotsa saldırganların güvenlik kısıtlamalarını büyük ölçüde meşru penetrasyon testleri olarak yapılandırarak ve bunları daha küçük bileşenlere ayırarak aştığını belirtiyor.
Mitrokotsa'ya göre, YZ ağ haritalaması, zafiyet taraması, sömürü üretimi ve kimlik bilgisi toplama gibi işlemleri yürütürken, insanlar kritik kararları denetliyordu. %90 rakamının zorlama olduğunu düşündüğünü belirten Mitrokotsa, YZ'nin tekrarlayan görevleri hızlandırabilmesine rağmen, insan doğrulaması olmadan karmaşık saldırı aşamalarını zincirlemenin hala zor olduğunu ifade etti. Raporların, Claude'un insan düzeltmesi gerektiren yanıltıcı kimlik bilgileri gibi hatalar ürettiğini gösterdiğini belirten Mitrokotsa, bunun gerçek otonomiden çok gelişmiş otomasyonla daha uyumlu olduğunu ve benzer verimliliklerin mevcut çerçeveler ve komut dosyaları ile elde edilebileceğini vurguladı.
Siber Suçlar İçin Giriş Eşiğini Düşürmek
Uzmanların çoğu, olayın öneminin Claude'un işin %50'sini mi yoksa %90'ını mı yaptığına bağlı olmadığı konusunda hemfikir. Endişe verici olan, kısmi YZ güdümlü bir orkestrasyonun bile casusluk grupları için giriş eşiğini düşürmesi, kampanyaları daha ölçeklenebilir hale getirmesi ve bir LLM'nin bir ihlali birleştiren motor haline geldiğinde sorumluluğu bulanıklaştırmasıdır.
Anthropic'in olay anlatısı doğruysa, bunun etkileri derin olacaktır; zira düşmanlar, tüketici odaklı YZ araçlarını kullanarak keşifleri hızlandırabilir, taramadan sömürüye kadar geçen süreyi kısaltabilir ve savunmacıların yanıt verebileceğinden daha hızlı saldırılar tekrarlayabilir.
Ancak, otonomi anlatısı abartılmış olsa bile bu durum pek teselli sağlamıyor. Ajao'nun da belirttiği gibi: "Hazır YZ araçları aracılığıyla siber casusluk için giriş eşiği önemli ölçüde düştü." Mitrokotsa da "YZ güdümlü otomasyonun, mevcut savunmalarımızın uyum sağlayabileceğinden daha hızlı bir şekilde tehdit manzarasını yeniden şekillendirebileceği" uyarısında bulundu.
Uzmanlara göre en olası senaryo, bunun tam otonom bir YZ saldırısı değil, bıkmak bilmeyen bir yardımcı olarak hareket eden bir YZ modeli tarafından süper şarj edilmiş, insan liderliğinde bir operasyon olduğudur. Bu model, keşif görevlerini bir araya getirdi, saldırı komut dosyaları hazırladı ve kod üretti. Saldırı, düşmanların YZ'yi bir orkestrasyon katmanı olarak kullanmayı öğrendiğini gösterdi ve savunmacılar, LLM'lerin insan yeteneğini değiştirmek yerine çoğalttığı daha hibrit operasyonlar beklemelidir.
Gerçek sayının %80, %50 veya çok daha az olup olmadığına bakılmaksızın, uzmanlardan gelen temel mesaj aynıdır: Anthropic mühendisleri bu seferki saldırıyı erken yakalamış olabilir, ancak bir sonraki benzer kampanya engellenmesi o kadar kolay olmayabilir.
