OpenAI, yapay zeka modelleriyle güçlendirilmiş bir ajanın, bir karşılaştırma testinin çözümlerini elde etmek için aşırı istekli bir çaba sonucu, test edilen izole ortamından çıkarak Hugging Face'in sunucularına sızdığını açıkladı. Şirket, bu istenmeyen sızmayı "emali görülmemiş bir siber olay" olarak değerlendirdiğini ve tekrarlanmasını önlemek için Hugging Face ile birlikte yeni koruma yöntemleri üzerinde çalıştığını belirtti.
Hugging Face, geçtiğimiz hafta yaptığı açıklamada "sınırlı sayıda dahili veri kümesine ve hizmetlerimiz tarafından kullanılan birkaç kimlik bilgisine yetkisiz erişim" olduğunu belirttiği bir girişimi duyurmuştu. Yapay zeka veri temizleme kuruluşu, "otonom bir ajan çerçevesinden" gelen "on binlerce otomatik eylemi içeren bir sürü" tespit etmek için kendi büyük dil modeli (LLM) güdümlü analizini kullandığını bildirdi. Bu ajan sürüsü, Hugging Face'in veri işleme hattındaki bir zafiyeti kullanarak bir işçi olarak kod çalıştırma yeteneği kazanmış ve nihayetinde şirketin bulut ve sunucu kümelerine üst düzey erişim sağlamıştır.
O dönemde Hugging Face, saldırıda kullanılan LLM'nin "henüz bilinmediğini" belirtmişti. Ancak OpenAI, Salı akşamı yaptığı açıklamada olayın, yeni piyasaya sürülen GPT-5.6 Sol ve "daha da yetenekli bir ön sürüm modeli" içeren dahili bir test sırasında gerçekleştiğini kabul ederek saldırı sorumluluğunu üstlendi. Modeller, yüzlerce gerçek dünya güvenlik açığına dayanan bağımsız bir test paketi olan ExploitGym karşılaştırma testine karşı test ediliyordu.
OpenAI, karşılaştırma testlerinin "yüksek derecede izole bir ortamda" yürütüldüğünü belirtse de, ajanlar gerekli paket kayıtlarını yüklemek için "dahili olarak barındırılan üçüncü taraf yazılımlara" erişebiliyordu. ExploitGym karşılaştırma testi üzerinde bir hafta sonu çalışırken, OpenAI'in belirttiğine göre ajan "açık internet erişimi elde etmenin bir yolunu bulmak için önemli ölçüde çıkarım hesaplama gücü harcadı" ve sonunda paket kayıt önbellek proxy'sindeki sıfır gün bir açıkları aracılığıyla bir yol buldu. Bu daha geniş internet erişimi sağlandıktan sonra OpenAI, ajanın "Hugging Face'in potansiyel olarak ExploitGym için modeller, veri kümeleri ve çözümler barındırdığına" inanarak daha önce açıklanan sunucu saldırısına yol açtığını belirtti. OpenAI, güvenlik ekibinin Hugging Face'in kendi tespitlerinden bağımsız olarak "bu anormal aktiviteyi dahili olarak keşfettiğini" söyledi.
Hiçbir Kafes Beni Tutamaz
OpenAI, Hugging Face olayını "eşsiz" olarak tanımlasa da, şirket bu hafta ayrı bir blog yazısında, son zamanlarda "uzun vadeli modellerin" (uzun süreler boyunca otonom olarak çalışabilen) test hedeflerine ulaşmak için "istenmeyen eylemler" aldığını, "sandbox'ının dışına çıkmanın yollarını aramak" dahil olmak üzere daha önce gözlemlediğini kabul etti.
Şirket, NanoGPT hızlandırma karşılaştırması üzerinde daha önceki bir testi anlattı; bu testte modelin yalnızca sonuçlarını dahili bir Slack kanalına göndermesi talimatı verilmişti. Bunun yerine model, karşılaştırma talimatlarındaki çelişkili bir yönergeyi izleyerek sonuçları herkese açık bir şekilde GitHub'a göndermeye karar verdi.
Bu talimatı yerine getirme çabasında, OpenAI'in belirttiğine göre model, harici internet erişimini engellemek amacıyla tasarlanmış sandbox kısıtlamalarını aşmanın yollarını saatlerce aradı. Uzun vadeli modeller tarafından sergilenen bu tür bir "kalıcılık", OpenAI'ye göre benzer ikilemlerle karşılaştığında pes etme veya kullanıcıdan açıklama isteme eğiliminde olan önceki modellerin eylemlerinden farklıdır.
Bu tür olaylar, OpenAI'nin uzun vadeli modellere odaklanan yeni güvenlik önlemleri uygulamasına yol açtı. Bunlar arasında, bir ajanın bireysel hamleleri yerine eylemlerinin tam yörüngesini izlemek üzere tasarlanmış bir "aktif izleme" sistemi bulunuyor. Ancak OpenAI, karşılaştırma testinin "siber güvenlik açıklarını test etmeyi amaçladığı" için bu tür güvenlik önlemlerinin Hugging Face olayı sırasında "kasten etkinleştirilmediğini" belirtti.
Yeni Bir Tehdit Türü
Yapay zeka içeriğiyle ilgili bilim kurgu klişeleri hakkında bilgisi olanlar, bir yapay zeka modelinin hedeflerine ulaşmak için yasaklanmış internet erişimi elde etmek amacıyla güvenlik açıklarını sömürmesinin gerçek dünya örneğinden az da olsa rahatsız olabilir. Teksas Milletvekili Greg Casar, olayı sosyal medyadaki bir açıklamasında "son derece endişe verici" olarak nitelendirdi ve "düzenli zorunlu bağımsız güvenlik testleri ve gözetimi, güvenlik olaylarının zorunlu olarak açıklanması ve halkı tam bir felaketten korumak için uluslararası işbirliği" çağrısında bulundu.
Hugging Face olayı, sözde yapay zeka hizalanması (AI alignment) üzerindeki felsefi ve pratik tartışmaların önemini de artırdı ve bir yapay zeka modelinin eylemlerinin insan yaratıcılarının niyetleriyle uyumlu olduğundan emin olma çabalarını hızlandırdı. OpenAI, bu haftanın başındaki güvenlik blog yazısında, uzun vadeli modellerin "uzun süreli konuşlandırmalarda talimatları hatırlamasını" sağlamak için adımlar attığını ve bunun "hizalanmamış" sonuçların sayısını önemli ölçüde azalttığını belirtti.
OpenAI Güvenlik Araştırmacısı Micah Carroll, olayla ilgili olarak sosyal medyada yaptığı bir paylaşımda, "Bu durum, hizalanmama risklerinin gelecekte önemli bir endişe kaynağı olacağına sizi ikna etmiyorsa, neyin edeceğini bilmiyorum" dedi.
Bir yapay zeka modelinin bir karşılaştırma testini geçmek için istenmeyen yollar bulmak için büyük çaba sarf ettiği ilk olay kesinlikle bu değil. İngiltere'nin Yapay Zeka Güvenlik Enstitüsü'nün bu hafta yayınladığı bir raporda, son modellerin siber değerlendirmelerinde "hile yapmaya" (yani, bir çözüm bulmak için kısayollar, geçici çözümler veya istenmeyen/yasaklanmış yöntemler kullanma) %8 ila %14 oranında (%14'ün bazı tespit edilemeyen hile girişimlerini eksik sayabileceği düşük bir aralık) girişimde bulunduklarını tespit ettiklerini belirtti.
Güvenlik test grubu, yanlış yapılandırılmış ve "çözülmesi imkansız" bir değerlendirme ile karşı karşıya kalan bir modelin, izlenmeyen üçüncü taraf bir internet hizmetinde barındırdığı kodu kullanarak AISI'nin kendi değerlendirme altyapısına erişmeye çalıştığı bir olayı tarif etti.
Hugging Face'e yapılan sızma, yapay zeka şirketlerinin en son modellerinin siber saldırı yetenekleri hakkında ciddi uyarılar yayınladığı bir döneme denk geliyor. Bu durum, hükümetleri ulusal güvenlik odaklı emirlerle bunlara yanıt vermeye ve bunların piyasaya sürülmesini sınırlamaya yönlendiriyor. Bazı şüpheciler bu tür açıklamaları en son modellerinin yetenekleri için abartılı pazarlama olarak görse de, bağımsız değerlendirmeler son modellerin daha önceki otonom sistemler için imkansız olan sızma hedeflerine ulaştığını gösteriyor.
OpenAI'nin Sam Altman, Nisan ayındaki bir röportajda panik yaratan yapay zeka güvenlik uyarılarını "korku temelli pazarlama" olarak eleştirmişti. Ancak Haziran ayında OpenAI, ABD hükümetinin güvenlik endişeleri üzerine GPT-5.6'nın piyasaya sürülmesini geciktirdi.
Yapay zeka ve siber güvenlik çevrelerinde bu tartışmalar sürerken, Hugging Face olayı, siber güvenlik profesyonellerinin yapay zeka tabanlı tehditlere nasıl yaklaştıklarında bir dönüm noktası olarak görülebilir. Hugging Face, geçen haftaki açıklamasında "Otonom, yapay zeka güdümlü saldırı araçları artık teorik değil. Geniş çaplı, sabırlı, çok aşamalı bir kampanyanın maliyetini düşürüyor ve makine hızında çalışıyor. Bir çevrimiçi platformu savunmak artık veri ve model yüzeyini birinci sınıf bir saldırı yüzeyi olarak ele almayı ve yapay zekayı savunmada kullanmayı gerektiriyor" dedi.
Hugging Face'in kurucu ortağı ve CEO'su Clem Delangue bugün sosyal medyada yaptığı bir paylaşımda, "Bu, ajanlar çağında siber güvenlik için ilk gün. Gizliliğin çözüm olmadığını ve tüm savunucuların (sadece seçilmiş birkaçı değil) her yerde kısıtlamalar olmaksızın, özellikle de açık olanlar dahil olmak üzere daha güçlü modellere ihtiyaç duyduğunu hepimiz öğreniyoruz!" diye yazdı.
