Teknoloji devi Google, yapay zeka modeli Gemini'yi taklit etmek isteyen kötü niyetli aktörlerin, bu modeli yoğun bir şekilde sorgulayarak bilgi çıkarmaya çalıştığını duyurdu. Google'dan yapılan açıklamaya göre, ticari amaç güden gruplar, Gemini'nin yeteneklerini kopyalamak için yüz binlerce kez deneme yaptı. Bu denemelerden birinde, modelin çevrimdışı bir kopyasını oluşturmak amacıyla farklı İngilizce olmayan dillerde 100 binden fazla sorgu gönderildiği belirtildi.
Google'ın bu durumu 'model çıkarma' olarak adlandırdığı ve fikri mülkiyet hırsızlığı olarak değerlendirdiği bildirildi. Ancak bu durum, kendi büyük dil modellerini (LLM) internetten izin alınmadan toplanan verilerle eğittiği düşünülen bir şirket için tartışmalı bir pozisyon olarak görülebilir.
Google'ın kendisi de benzer 'taklitçi' yöntemlerle suçlanmıştı. 2023'te çıkan bir rapor, Google'ın Bard sohbet robotunu eğitmek için kullanıcıların paylaştığı sohbet kayıtlarını kullandığı iddialarını gündeme getirmişti. Bu iddiaların ardından, etkili BERT dil modelini geliştiren üst düzey Google yapay zeka araştırmacısı Jacob Devlin'in, bu durumun OpenAI'nin hizmet şartlarını ihlal ettiğini belirterek istifa ettiği ve OpenAI'ye katıldığı bildirilmişti. Google bu iddiaları reddetmiş ancak bu tür verileri kullanmayı durdurduğunu belirtmişti.
Yine de, Google'ın hizmet şartları, yapay zeka modellerinden bu şekilde veri çıkarmayı yasaklıyor. Bu rapor, AI model kopyalama taktiklerinin ne kadar karmaşık ve bazen şüpheli yollarla yapılabileceğini gözler önüne seriyor. Google, bu saldırıların arkasında genellikle rekabet avantajı elde etmek isteyen özel şirketler ve araştırmacılar olduğunu düşünüyor ve saldırıların dünya çapında gerçekleştiğini belirtti. Ancak Google, şüpheli isimleri açıklamadı.
Damıtma Yöntemiyle Model Klonlama
Sektörde, bir modelin çıktılarını kullanarak yeni bir model eğitme pratiği genellikle 'damıtma' (distillation) olarak adlandırılıyor. Bu yöntem şu şekilde işliyor: Eğer milyarlarca dolara mal olan ve yıllar süren bir eğitim süreciyle Gemini gibi bir büyük dil modeli oluşturmak istemiyorsanız, daha önce eğitilmiş bir yapay zeka modelini kestirme yol olarak kullanabilirsiniz.
Bunu yapmak için, mevcut yapay zeka modeline binlerce dikkatlice seçilmiş komut verilir, tüm yanıtlar toplanır ve bu girdi-çıktı çiftleri daha küçük, daha ucuz bir model eğitmek için kullanılır. Sonuç, ana modelin çıktı davranışını yakından taklit eder ancak genellikle daha küçük boyuttadır. Tamamen kusursuz olmasa da, bu yöntem rastgele internet verilerinden faydalı bir model oluşturma umudundan çok daha verimli bir eğitim tekniği sunabilir.
Kopyacı model, Gemini'nin kodunu veya eğitim verilerini doğrudan görmez. Ancak çıktılarını yeterince inceleyerek, birçok yeteneğini taklit etmeyi öğrenebilir. Bunu, bir şefin menüdeki her yemeği sipariş edip, sadece tat ve görünüme bakarak tariflerini geriye dönük olarak çıkarmaya benzetebilirsiniz.
Google tarafından yayınlanan raporda, tehdit istihbarat grubunun Gemini'ye yönelik bu 'damıtma' saldırılarının arttığını belirttiği ifade ediliyor. Birçok kampanya, özellikle modelin adım adım bilgi işleme ve simüle edilmiş akıl yürütme görevlerini yerine getirmesine yardımcı olan algoritmaları hedef almış.
Google, 100 bin sorguluk kampanyayı tespit ettiğini ve Gemini'nin savunmalarını ayarladığını söyledi, ancak bu önlemlerin tam olarak ne içerdiğini detaylandırmadı.
Klonun Klonu: AI Sektöründeki Rekabet
Google, 'damıtma'dan endişe duyan tek şirket değil. OpenAI geçen yıl Çinli rakibi DeepSeek'i kendi modellerini geliştirmek için damıtma kullandığı iddiasıyla suçlamıştı. Bu teknik, daha büyük modellerden daha ucuz ve daha küçük AI modelleri oluşturmak için endüstride standart hale geldi.
Standart damıtma ile hırsızlık arasındaki çizgi, hangi modelin damıtıldığına ve izin olup olmadığına bağlıdır; bu, teknoloji şirketlerinin milyarlarca dolar harcayarak korumaya çalıştığı ancak henüz hiçbir mahkeme tarafından test edilmemiş bir ayrımdır.
Rakipler, en az GPT-3 döneminden beri damıtma yöntemini kullanarak AI dil modeli yeteneklerini kopyalıyor ve ChatGPT'nin piyasaya sürülmesinden sonra popüler bir hedef haline geldi.
Mart 2023'te, Meta'nın LLaMA model ağırlıklarının çevrimiçi olarak sızdırılmasından kısa bir süre sonra, Stanford Üniversitesi araştırmacıları OpenAI'nin GPT-3.5 tarafından üretilen 52.000 çıktı üzerinde ince ayar yaparak Alpaca adında bir model oluşturdular. Toplam maliyet yaklaşık 600 dolardı. Sonuç, ChatGPT'ye o kadar benziyordu ki, bir AI modelinin yeteneklerinin API aracılığıyla erişilebilir olduğunda korunup korunamayacağı sorularını hemen gündeme getirdi.
Yılın ilerleyen dönemlerinde, Elon Musk'ın xAI şirketi Grok sohbet robotunu piyasaya sürdü ve bazı talepleri reddederken 'OpenAI'nin kullanım politikası'nı alıntıladı. Bir xAI mühendisi, web kazıma sırasında yanlışlıkla ChatGPT çıktılarını aldığı için bunu açıklasa da, ChatGPT'nin kendine özgü reddetme ifadelerine ve yanıtları 'Genel olarak...' özetleriyle sarmalama alışkanlığına kadar uzanan davranışların özgüllüğü, AI topluluğundaki birçok kişiyi ikna etmedi.
Bir büyük dil modeli (LLM) halka açık olduğu sürece, kararlı bir aktörün zamanla başkasının modelinde aynısını yapmasını engelleyecek kusursuz bir teknik bariyer yoktur (oran sınırlama yardımcı olsa da), ki bu tam da Google'ın Gemini'nin başına geldiğini söylediği şeydir.
Damıtma, şirketler içinde de gerçekleşir ve genellikle eski, daha büyük yapay zeka modellerinin daha küçük, daha hızlı çalıştırılabilir versiyonlarını oluşturmak için kullanılır. Örneğin, OpenAI, GPT-4o'nun bir damıtması olarak GPT-4o Mini'yi yarattı ve Microsoft, büyük modeller tarafından üretilen dikkatlice filtrelenmiş sentetik verileri kullanarak kompakt Phi-3 model ailesini oluşturdu.
DeepSeek de kendi R1 akıl yürütme modelinin altı damıtılmış versiyonunu resmi olarak yayınladı ve en küçüğü bir dizüstü bilgisayarda çalışabiliyor.
