Meta'nın kurucusu ve CEO'su Mark Zuckerberg, yeni yapay zeka asistanı Muse'un güvenliğini "sıfırdan gizlilik ve güvenlik için inşa edildiği" iddiasıyla övmüştü. Ancak, yerel uygulamalara ve komut satırı işlemlerine asistan üzerinde tam kontrol sağlayan sıfır gün açığı, bu iddiaları ciddi şekilde sorgulatıyor. Dahası, Amazon'un pazar gününden itibaren Muse'u kendi sitesinden engellemeye başlaması da dikkat çekici bir gelişme.
Meta'nın birkaç hafta önce tanıttığı Muse, "randevuları ayarlamak, formları doldurmak ve müşteri hizmetlerini yönetmek" gibi görevleri yerine getirebiliyor. Ayrıca, "proaktif olarak size ait işleri üstlenebiliyor", "alışveriş yapabiliyor, görseller üretebiliyor, belgeler oluşturabiliyor ve favori uygulama ve servislerinize bağlanabiliyor." macOS uygulaması (Windows sürümünün olmaması merak uyandırıcı), kullanıcının WhatsApp, e-posta, takvim ve sosyal medya hesaplarıyla da çalışıyor. Eğer bir görev mevcut olmayan bir araç gerektirirse, Muse bunu anında oluşturuyor.
Meta, Muse Güvenliğini Fazlasıyla Abartıyor
Elbette, Muse'un bu tür işlemleri yapabilmesi için kullanıcıların öncelikle hesaplarına erişim izni vermesi gerekiyor. Bu, asistanı her servise kimlik doğrulaması yapmayı ve macOS uygulamasının diskte dosya yazma, mikrofon ve kameraya erişme, konum ve takvimleri izleme gibi işletim sistemi tarafından kısıtlanmış geniş bir cihaz kaynağına izinler vermesini içeriyor. Apple, yüklü uygulamaların veya komut satırından girilen komutların bu kaynaklara erişmesini engellemek için yıllardır bu savunmaları geliştiriyor; çünkü şirket bunları bir güvenlik tehdidi olarak görüyor. Muse ise bu varsayılan önlemleri tamamen ortadan kaldırıyor.
Keşfedilen sıfır gün açığı, herhangi bir uygulamanın veya komut satırı işleminin kullanıcıların Muse hesaplarına kimlik doğrulaması yapan belirteci (token) elde etmesine olanak tanıyor. Meta geliştiricileri, macOS izinlerinden bağımsız olarak, yerel olarak yüklü herhangi bir uygulamanın veya yürütülen kodun, karanlık mod kontrolü gibi oldukça zararsız olanlar da dahil olmak üzere, belgelenmemiş birçok ayarı değiştirmesini sağlayacak şekilde asistanı tasarlamış. Ancak, ayarlardan biri oldukça zararsız değil: Süreçlerin transkripsiyonun gerçekleştiği uç noktayı değiştirmesine izin veriyor. Normalde bu, Meta tarafından işletilen bir sunucu adresi. Saldırganlar, konumu kendi uç noktalarına değiştirerek bu kusurdan faydalanabilirler. Bu gerçekleştiğinde, saldırganlar Muse hesabı üzerinde tam kontrole sahip olurlar.
macOS güvenlik uzmanı Patrick Wardle, "Asistanı manipüle edebilir ve yetkilerinden faydalanarak istediğimizi yapabiliriz" dedi. "Yani çok kapsamlı bir Mac kötü amaçlı yazılım çalma programı yazmak yerine, yapay zeka asistanının kendisinden faydalanabiliriz." Wardle, diskte kötü amaçlı dosyalar yazmak ve resim çekmek gibi, çoğu durumda uyarılan bir kullanıcıya bile herhangi bir belirti vermeden yapılan birkaç kavram kanıtlama saldırısı geliştirdiğini belirtti.
Meta temsilcileri e-posta ile sorulan soruları yanıtlamadı.
Meta, böylesine olağanüstü kullanıcı verisi ve kaynak erişimine sahip bir asistanın güvenli ve gizli olmasını sağlamak için alınan tasarım kararlarını belgeleyen iki haftada iki blog yazısı yayımladı. Bu yazılar, Anthropic ve Google'dan gelen modellerin dahili testlerinin, geliştiricilerin asla hedeflemeyi amaçlamadığı harici, üçüncü taraf ağlarında güvenlik ihlallerine yol açtığına dair ortaya çıkan bilgilerle aynı zamana denk geliyor. Geleneksel insan odaklı bilgisayar korsanlığında bu tür eylemler muhtemelen cezai işlemle sonuçlanabilirdi. Meta'nın bu yazıları, sonuçlanan olumsuz tepkilere ve yapay zeka geliştirme hızının yavaşlatılması çağrılarına muhtemelen dikkat çekiyor.
Wardle, Meta geliştiricilerinin açığı mümkün kılan birkaç tasarım kararı aldığını söyledi. Bunlardan biri, Meta'nın kaydedebileceği şekilde, Muse diktesinin bulutta gerçekleşmesi seçimi. macOS, uygulamaların dikte ve transkripsiyonu cihazda güvenli bir şekilde kalan süreçlerde işlemesine uzun süredir basit bir yol sunuyor. Geliştiriciler bu daha güvenli alternatifi seçmiş olsalardı, saldırı mümkün olmazdı.
Bir diğer kusurlu karar ise herhangi bir uygulamanın belgelenmemiş tüm ayarları kontrol edebilmesi. Meta'nın, Muse ile çalışan uygulamaların kullanıcı arayüzü ayarlarını kontrol etmesini amaçladığı ve anlaşılabilir nedenlerle olduğu muhtemel. Ancak, hassas kullanıcı konuşmalarının işlendiği bir uç noktanın herhangi bir uygulama veya komut tarafından kontrol edilebilmesi tamamen farklı bir durum. Bu tasarım kararları, geliştiricilerin yeni asistanın güvenliğini ve gizliliğini tasarlamak ve test etmek için ne kadar çaba harcadığı konusunda soruları gündeme getiriyor.
Wardle, "Bana göre, bu uygulamaların güvenliği açısından çıta sonsuz derecede yüksek. Mükemmel olmak zorunda değiller, ancak Muse'a baktığınızda, bence güvenlik üzerine düşünmemişler, bu gerçekten endişe verici," dedi. "En azından, en başından beri güvenliği düşünmeleri gerekiyor ve bunu yapmıyorlar."
Wardle'ın sıfır gün açığını duyurmasından yaklaşık 12 saat önce, Amazon insanları siteden alışveriş yapmak için Muse kullanmaktan engellemeye başladı. Deneyen kullanıcılar, Muse'un "yetkisiz bir yapay zeka ajanı olduğu ve Amazon'un Kullanım Koşullarını ihlal ettiği" yönünde bir mesaj aldı.
Amazon, e-posta yoluyla yaptığı açıklamada, "Müşteriler adına diğer işletmelerden satın alma yapmayı teklif eden üçüncü taraf uygulamaların açık bir şekilde faaliyet göstermesi ve hizmet sağlayıcıların katılmama kararlarına saygı duyması gerektiğini düşünüyoruz" dedi. "Bu, güvenli, emniyetli ve güvenilir bir müşteri deneyimi sağlıyor ve yemek teslimat uygulamaları ve sipariş aldıkları restoranlar, teslimat hizmeti uygulamaları ve alışveriş yaptıkları mağazalar ve müşterileri için uçak bileti rezervasyonu yapan online seyahat acenteleri ve havayolları gibi diğerlerinin de çalışma şeklidir. Muse gibi aracı üçüncü taraf uygulamalar da aynı yükümlülüklere sahiptir ve Meta'dan Amazon'u deneyimden çıkarmasını talep ettik."
Tek Bir ClickFix Yeterli
Saldırıların çalışması için çeşitli yollar mevcut. Bunlardan biri, saldırganın sunucusunun, Muse kullanıcısı ile Meta uç noktası arasına yerleştirilmiş bir proxy sunucusu olarak hareket etmesidir. Kullanıcı sesli komutu girdikten sonra, saldırganın sunucusu WhatsApp mesajlarının tamamının bir arşivini saldırgana göndermek gibi kötü niyetli bir komutu tetikleyen bir komut ekler. Bu gerçekleştiğinde, belirteç de otomatik olarak kötü niyetli sunucuya gönderildiği için saldırgan Muse hesabı üzerinde kalıcı kontrol elde eder.
Wardle, macOS güvenliğine odaklanan kar amacı gütmeyen Objective-See Vakfı'nın kurucusudur. Ayrıca, "The Art of Mac Malware" kitap serisinin yazarı ve NASA ile Ulusal Güvenlik Ajansı'nın eski bir çalışanıdır. Wardle, açığı ve diğer yapay zeka asistanı tehditlerini Kasım ayında Objective by the Sea güvenlik konferansında daha ayrıntılı olarak tartışmayı planladığını belirtti.
Cihaz ele geçirildikten sonra istismar edilebilen uygulamaların geliştiricileri tarafından dile getirilen karşı argümanlardan biri, ele geçirme gerçekleştiğinde tüm güvenlik önlemlerinin geçersiz olduğudur. Ancak bu standart bu durumda pek uymuyor. Wardle, cihazlarını kandırarak enfekte etme konusunda inanılmaz derecede etkili hale gelen bir teknik olan ClickFix saldırısının basit bir varyasyonunun, bir saldırganın Muse hesabının kontrolünü ele geçirmesi için yeterli olduğunu buldu.
Yukarıdaki ilk görselde, Wardle'ın basit bir komut satırı komutu kullanarak Meta uç noktasına gizlice bir komut gönderdiği görülüyor. İkinci görsel ise yanıtı gösteriyor. Wardle'ın komutu, canlı saldırılarda saldırganların komutu kopyalayıp yapıştırmasını önlemek için, yalnızca yetkisiz bir saldırgan tarafından nasıl geldiği sorusuyla ilgili. Muse ise yanlış bir şekilde böyle bir eylemin mümkün olmadığını yanıtlıyor.
Daha önce de belirtildiği gibi, Muse'un amaçlandığı gibi çalışmak için gerektirdiği olağanüstü erişim, tasarımcıları üzerinde ek bir yük oluşturuyor. Çoğu yapay zeka ajanı gibi ve Meta'nın iddialarının aksine, Muse'a güvenilemez. Ne zaman veya güvenilebilir hale gelip gelmeyeceği belli değil.
