Yapay zeka modellerinin geliştirilmesinde karşılaşılan en büyük zorluklardan biri, yüksek kaliteli eğitim verisi eksikliğidir. Teknoloji şirketleri, modellerini beslemek için internetteki verileri taradıkça, hassas kullanıcı verilerine ulaşma olasılığı artıyor. Google Araştırma ekibi, bu verileri kullanan büyük dil modellerinin (LLM) içeriği "ezberleme" olasılığını azaltacak yeni teknikler üzerinde çalışıyor.
Büyük dil modellerinin çıktısı tam olarak öngörülemez, yani aynı girdilerle bile farklı sonuçlar verebilirler. Ancak modeller bazen eğitim verilerinden alıntılar yapabilir. Eğer bu eğitim verileri kişisel veriler içeriyorsa, bu durum kullanıcı gizliliğinin ihlali anlamına gelebilir. Ayrıca, telif hakkıyla korunan verilerin eğitim setine dahil olması da farklı sorunlara yol açabilir. "Diferansiyel gizlilik" adı verilen bir yöntem, eğitim aşamasında kontrollü bir gürültü ekleyerek bu tür ezberleme durumlarını önleyebilir.
Diferansiyel gizliliğin bir modele eklenmesi, doğruluk ve hesaplama gereksinimleri açısından bazı dezavantajları beraberinde getirir. Şimdiye kadar bu yöntemin yapay zeka modellerinin ölçeklenme yasaları üzerindeki etkisi tam olarak incelenmemişti. Araştırma ekibi, model performansının büyük ölçüde "gürültü-toplu iş oranı"ndan etkileneceği varsayımından yola çıktı. Bu oran, rastgele eklenen gürültünün hacminin, orijinal eğitim verisinin boyutuna oranını ifade eder.
Farklı model boyutları ve gürültü-toplu iş oranları ile deneyler yapan ekip, diferansiyel gizlilik ölçeklenme yasaları hakkında temel bir anlayış geliştirdi. Bu yasalar, hesaplama bütçesi, gizlilik bütçesi ve veri bütçesi arasındaki dengeyi temsil eder. Kısacası, daha fazla gürültü, çıktı kalitesinin düşmesine yol açar, ancak bu durum daha yüksek hesaplama bütçesi (FLOPs) veya veri bütçesi (token) ile telafi edilebilir. Araştırmacılar, özel LLM'ler için ölçeklenme yasalarını detaylandıran bir makale yayımlayarak, geliştiricilerin modelleri daha gizli hale getirmek için ideal bir gürültü-toplu iş oranı bulmalarına yardımcı olmayı hedefliyor.
VaultGemma'nın İnşası
Bu diferansiyel gizlilik çalışmaları, VaultGemma adında açık ağırlıklı yeni bir Google modelinin geliştirilmesine yol açtı. Model, ezberleme olasılığını azaltmak için diferansiyel gizlilik kullanıyor ve bu, Google'ın gelecekteki yapay zeka araçlarına gizliliği entegre etme biçimini değiştirebilir. Ancak şimdilik, şirketin bu tür bir gizliliğe sahip ilk modeli bir deney olarak görülüyor.
VaultGemma, Google'ın en yeni açık modeller ailesinden bir nesil önceki temel model olan Gemma 2 üzerine kurulmuştur. Ekip, ilk testlerden elde edilen ölçeklenme yasalarını kullanarak VaultGemma'yı optimum diferansiyel gizlilikle eğitti. Modelin parametre sayısı yalnızca 1 milyar ile sınırlı olsa da, Google Araştırma, VaultGemma'nın benzer boyuttaki özel olmayan modellerle benzer performans gösterdiğini belirtiyor.
Ekip, diferansiyel gizlilik ölçeklenme yasaları üzerine yapılan bu çalışmanın, başkalarının özel yapay zeka modelleri eğitmek için kaynakları verimli bir şekilde tahsis etmelerine yardımcı olmasını umuyor. Büyük ve yetenekli yapay zeka modellerinde performansın her şey olması nedeniyle bu durum, en büyük modellerin çalışma biçimini değiştirmeyebilir. Bununla birlikte, araştırma, diferansiyel gizliliğin, belirli yapay zeka özelliklerini destekleyen özel amaçlı modeller gibi daha küçük LLM'lerle daha iyi çalıştığını gösteriyor.
VaultGemma'yı şu anda Hugging Face ve Kaggle platformlarından indirebilirsiniz. Diğer Gemma modelleri gibi, bu modelin de açık ağırlıkları bulunuyor, ancak tam anlamıyla açık kaynaklı değil. Google, Gemma modellerini değiştirmenize ve dağıtmanıza izin verirken, bunları kötü niyetli amaçlarla kullanmamayı ve değiştirilmiş tüm versiyonlarla Gemma lisansının bir kopyasını dağıtmayı kabul etmeniz gerekiyor.
