Son yıllarda, kitap, gazete, bilgisayar kodu ve fotoğraf yayıncıları da dahil olmak üzere birçok davacı, telif hakkıyla korunan materyalleri kullanarak modellerini eğiten yapay zeka şirketlerine karşı yasal yollara başvuruyor. Bu davaların temel sorusu, yapay zeka modellerinin davacıların telifli içeriklerinden kelimesi kelimesine alıntılar üretme olasılığının ne kadar yüksek olduğu.
Örneğin, OpenAI'ye karşı açılan bir davada, GPT-4'ün haber makalelerinden önemli pasajları aynen yeniden ürettiğine dair düzinelerce örnek sunulmuştu. OpenAI ise buna karşılık, bu tür durumların nadir görülen bir 'uç davranış' olduğunu ve bu tür sorunları gidermek için çalıştıklarını belirtmişti.
Peki bu gerçekten nadir bir davranış mı? Önde gelen yapay zeka şirketleri bu sorunu çözebildi mi? Gazete makalelerinden ziyade kitaplara odaklanan yeni bir araştırma, bu soruya şaşırtıcı yanıtlar sunuyor. Araştırmanın bazı bulguları davacıların argümanlarını güçlendirirken, bazıları savunma tarafına daha fazla yardımcı olabilir.
Geçtiğimiz ay yayımlanan ve üniversite araştırmacıları tarafından yürütülen bu çalışma, yaygın olarak büyük dil modellerini eğitmek için kullanılan Books3 adlı kitap koleksiyonundan metinleri beş popüler açık ağırlıklı modelin (Meta'dan üç, diğer şirketlerden iki model) yeniden üretme yeteneğini inceledi. Bu kitapların çoğu hala telif hakkı kapsamında bulunuyor.
Araştırmanın en çarpıcı bulgusu, Meta'nın modellerinden biriyle ilgiliydi. Grafiklerde de görüldüğü üzere, Temmuz 2024'te piyasaya sürülen orta ölçekli bir model olan Llama 3.1 70B, diğer dört modele kıyasla Harry Potter metnini yeniden üretme olasılığı çok daha yüksek çıktı.
Çalışmaya göre, Llama 3.1 70B'nin ilk Harry Potter kitabının yüzde 42'sini, 50 token'lık bölümleri en azından zamanın yarısında yeniden üretebilecek kadar iyi ezberlediği tahmin ediliyor. İlginç bir şekilde, benzer boyutta ancak Şubat 2023'te çıkan Llama 1 65B modeli, aynı kitabın yalnızca yüzde 4.4'ünü ezberlemişti. Bu, Meta'nın potansiyel yasal sorumluluğa rağmen Llama 3'ü eğitirken ezberlemeyi önlemek için pek bir şey yapmadığını gösteriyor. En azından bu kitap için sorun, Llama 1 ve Llama 3 arasında önemli ölçüde kötüleşmiş.
Araştırmacılar tarafından test edilen düzinelerce kitaptan biri olan 'Harry Potter ve Felsefe Taşı'nda olduğu gibi, Llama 3.1 70B'nin 'Yüzüklerin Efendisi' gibi popüler kitapları, daha az bilinenlere göre çok daha fazla ezberlediği tespit edildi. Çoğu kitap için Llama 3.1 70B, diğer modellere göre daha fazla ezberleme yaptı.
Araştırmacılara göre, modeller arasında metinlerin ne kadarının kelimesi kelimesine ezberlendiği konusunda gerçekten dikkat çekici farklılıklar var. Beklentileri, yüzde 1 veya 2 gibi düşük bir tekrarlanabilirlik seviyesi görmekti. Gördükleri varyasyon oranı onları şaşırttı.
Bu sonuçlar, yapay zeka ve telif hakkı tartışmasında her iki taraf için de tutunacak bir şeyler sunuyor. Yapay zeka endüstrisi eleştirmenleri için büyük çıkarım, en azından bazı modeller ve bazı kitaplar için ezberlemenin nadir bir olgu olmadığıdır.
Öte yandan, çalışma sadece birkaç popüler kitabın önemli ölçüde ezberlendiğini buldu. Örneğin, Llama 3.1 70B'nin, 2009 tarihli bir roman olan 'Sandman Slim'in yalnızca yüzde 0.13'ünü ezberlediği görüldü. Bu, Harry Potter için elde edilen yüzde 42'lik rakamın çok küçük bir kısmı.
Bu durum, yapay zeka şirketlerine karşı toplu davalar açan hukuk firmaları için bir baş ağrısı yaratabilir. Mahkemenin davacı sınıfını onaylaması için, davacıların büyük ölçüde benzer yasal ve olgusal durumlarda olduğunu bulması gerekir. Bu tür farklı sonuçlar, farklı yazarların (örneğin J.K. Rowling ve daha az bilinen yazarlar) tek bir toplu davada bir araya getirilip getirilemeyeceği konusunda şüphe uyandırabilir. Bu da çoğu yazarın bireysel dava açacak kaynaklara sahip olmaması nedeniyle Meta'nın lehine çalışabilir.
Bu çalışmanın daha geniş dersi, bu telif hakkı davalarında ayrıntıların önemli olacağıdır. Çevrimiçi tartışmalarda sıklıkla 'üretken modeller eğitim verilerini kopyalıyor mu yoksa sadece onlardan mı öğreniyor?' sorusu teorik hatta felsefi bir soru olarak ele alınmıştır. Ancak bu, ampirik olarak test edilebilecek bir sorudur ve cevap, modellere ve telifli eserlere göre farklılık gösterebilir.
Ezberleme Nasıl Ölçüldü?
Büyük dil modellerinin bir sonraki token'ı tahmin ettiğinden bahsetmek yaygındır. Ancak modelin perde arkasında yaptığı şey, bir sonraki token için tüm olasılıklar üzerinde bir olasılık dağılımı oluşturmaktır.
Çalışmanın yazarları, belirli bir yanıtın olasılığını tahmin etmek için birden fazla çıktı üretmek zorunda kalmadılar. Bunun yerine, her token için olasılıkları hesaplayabilir ve sonra bunları birbiriyle çarpabilirlerdi. Bu teknik, araştırmanın maliyetini büyük ölçüde azalttı, daha fazla kitabı analiz etmelerini sağladı ve çok düşük olasılıkları bile hassas bir şekilde tahmin etmeyi mümkün kıldı.
Herhangi bir dil modeli için, belirli bir 50 token'lık diziyi 'kazara' üretme olasılığı yok denecek kadar küçüktür. Eğer bir model telifli bir eserden 50 token üretirse, bu token'ların eğitim verilerinden 'geldiğine' dair güçlü bir kanıttır. Bu, modelin bu token'ları yalnızca yüzde 10, yüzde 1 veya yüzde 0.01 oranında bile üretse geçerlidir.
Harry Potter Metni Modellere Nasıl Girdi Bilinmiyor
Çalışmanın yazarları 36 kitabı ele aldılar ve her birini çakışan 100 token'lık pasajlara böldüler. İlk 50 token'ı bir girdi (prompt) olarak kullanarak, sonraki 50 token'ın orijinal pasajla aynı olma olasılığını hesapladılar. Bir pasajı, modelin kelimesi kelimesine yeniden üretme olasılığı yüzde 50'den yüksekse 'ezberlenmiş' saydılar.
Bu tanım oldukça katıdır. 50 token'lık bir dizinin yüzde 50'den fazla olasılığa sahip olması için, pasajdaki ortalama token'ın olasılığının en az yüzde 98.5 olması gerekir! Dahası, yazarlar sadece tam eşleşmeleri saydılar. Örneğin, modelin orijinal pasajdan 48 veya 49 token ürettiği ancak bir veya iki token'ı yanlış aldığı durumları saymaya çalışmadılar. Eğer bu durumlar da sayılsaydı, ezberleme miktarı daha da yüksek olabilirdi.
Bu araştırma, 'Harry Potter ve Felsefe Taşı'nın önemli kısımlarının Llama 3.1 70B'nin ağırlıklarına kopyalandığına dair güçlü kanıtlar sunuyor. Ancak bu bulgu, bunun neden veya nasıl olduğunu söylemiyor. Olası bir neden, Llama 3 70B'nin 15 trilyon token üzerinde eğitilmesi olabilir; bu, Llama 1 65B'yi eğitmek için kullanılan 1.4 trilyon token'ın on katından fazla.
Bir model belirli bir örnek üzerinde ne kadar çok eğitilirse, o örneği ezberleme olasılığı o kadar artar. Belki Meta, 15 trilyon farklı token bulmakta zorlandı ve bu nedenle Books3 veri setini birden çok kez kullandı. Ya da Meta, çevrimiçi Harry Potter hayran forumları, tüketici kitap incelemeleri veya öğrenci kitap raporları gibi, Harry Potter'dan ve diğer popüler kitaplardan alıntılar içeren üçüncü taraf kaynakları ekledi.
Bu açıklamaların her ikisinin de tüm olguları tam olarak karşıladığı kesin değil. Ezberlemenin en popüler kitaplar için çok daha büyük bir sorun olması, Llama'nın kitapların kendisinden ziyade bu kitaplardan alıntı yapan ikincil kaynaklar üzerinde eğitilmiş olabileceğini düşündürüyor.
Öte yandan, Llama'nın 'Harry Potter ve Felsefe Taşı'nın bu kadar büyük bir kısmını ezberlemesi şaşırtıcı. Eğer bu alıntılar ve atıflar olsaydı, herkesin alıntıladığı veya hakkında konuştuğu birkaç popüler şey etrafında yoğunlaşmasını beklersiniz. Llama 3'ün kitabın neredeyse yarısını ezberlemesi, tüm metnin eğitim verilerinde iyi temsil edildiğini düşündürüyor.
Ya da tamamen başka bir açıklama olabilir. Belki Meta, eğitim reçetesinde, ezberleme sorununu kazara kötüleştiren ince değişiklikler yaptı. Meta'ya yorum için ulaşıldı ancak henüz yanıt alınamadı.
Araştırmacılar, sonuçların tüm popüler kitaplar için geçerli olmadığını, bazı popüler kitaplarda bu sonucun görüldüğünü, bazılarında ise görülmediğini belirtiyor. Bunun neden olduğu konusunda net bir hikaye bulmak zor.
Telif Hakkı İçin Üç Sorumluluk Teorisi
1. Telifli bir eser üzerinde eğitim yapmak, eğitim süreci eserin dijital bir kopyasını içerdiği için doğası gereği ihlal edicidir.
2. Eğitim süreci eğitim verilerindeki bilgiyi modele kopyalar, bu da modeli telif hakkı yasası uyarınca türev bir eser yapar.
3. İhlal, bir modelin telifli bir eserin (kısımlarını) ürettiğinde meydana gelir.
Şimdiye kadar yapılan tartışmaların çoğu ilk teoriye odaklandı çünkü bu, yapay zeka şirketleri için en tehdit edici olanı. Eğer mahkemeler bu teoriyi onaylarsa, mevcut çoğu büyük dil modeli, herhangi bir eğitim verisini ezberlemiş olsun ya da olmasın yasa dışı olacaktır.
Yapay zeka endüstrisinin, telifli eserleri eğitim sürecinde kullanmanın adil kullanım kapsamında olduğuna dair oldukça güçlü argümanları var. Ancak Llama 3.1 70B'nin Harry Potter'ın büyük kısımlarını ezberlemiş olması, mahkemelerin bu adil kullanım sorularını nasıl değerlendireceğini etkileyebilir.
Adil kullanım analizinin kilit bir parçası, bir kullanımın 'dönüştürücü' olup olmadığıdır; yani bir şirketin yeni bir şey mi yarattığı yoksa sadece başkalarının eserinden kar mı elde ettiği. Dil modellerinin Harry Potter, 1984 ve Yüzüklerin Efendisi gibi popüler eserlerin önemli kısımlarını 'kusma' yeteneği, yargıçların bu adil kullanım argümanlarına daha şüpheci yaklaşmasına neden olabilir.
Dahası, önceki davalarda savunma tarafının temel argümanlarından biri, sistemlerinin herhangi bir kitaptan kısa bir alıntıdan fazlasını asla döndürmeyecek şekilde tasarlandığıydı. Bu yeni çalışma, Llama'nın Harry Potter'dan birkaç satırdan çok daha fazlasını üretebileceği gerçeğiyle savunma tarafının anlattığı hikayeyi karmaşıklaştırıyor. Bu sonuçlar, modellerin 'sadece kelime kalıplarını öğrenmediğini', 'modelin kendisinde telifli eserin bir kopyasının' olabileceğini düşündürüyor.
Bu araştırma, açık ağırlıklı modellerin, kapalı ağırlıklı olanlardan daha fazla yasal tehlikeye girebileceği riskini de ortaya koyuyor. Çünkü araştırmacılar bu çalışmayı, modelin altında yatan verilere ve dolayısıyla token dizilerinin olasılıklarının etkin bir şekilde hesaplanmasına olanak tanıyan token olasılık değerlerine erişebildikleri için yapabildiler. OpenAI, Anthropic ve Google gibi önde gelen birçok laboratuvar, bu tür verilere erişimi giderek daha fazla kısıtlıyor.
Ayrıca, bir şirket model ağırlıklarını kendi sunucularında tutarsa, dış dünyaya ihlal edici çıktının ulaşmasını engellemek için filtreler kullanabilir. Dolayısıyla, temel OpenAI, Anthropic ve Google modelleri de Llama 3.1 70B gibi telifli eserleri ezberlemiş olsa bile, şirket dışındaki herhangi birinin bunu kanıtlaması zor olabilir.
Bu tür filtreleme, kapalı ağırlıklı modellere sahip şirketlerin daha önceki emsallere başvurmasını kolaylaştırıyor. Kısacası, telif hakkı yasası, şirketler için açık ağırlıklı modeller yayınlama konusunda güçlü bir caydırıcılık oluşturabilir.
Bazı araştırmacılar bu sonucu 'tuhaf' buluyor ve sevmediklerini belirtiyorlar. Öte yandan, yargıçlar açık ağırlıklı modeller yayınlayan şirketleri etkin bir şekilde cezalandırmanın kötü olacağı sonucuna varabilirler. Çünkü açık ve ağırlıkları paylaşmanın bir tür 'kamu hizmeti' olduğu düşünülebilir. Bu nedenle, yargıçların Meta ve diğer açık ağırlıklı modeller sağlayan şirketlere daha az şüpheci yaklaşması da olası.
