Eğlencesine Viktorya dönemi İngilizcesi konuşan yapay zeka dil modelleri geliştiren bir öğrenci, son çalışmasının gerçek 1834 Londra protestolarından bahsetmesiyle beklenmedik bir tarih dersi aldı. Bu olaylar, geliştiricinin Google'dan kontrol edene kadar varlığından haberdar olmadığı tarihi gerçeklerdi.
Muhlenberg College'da bilgisayar bilimleri öğrencisi olan Reddit kullanıcısı, "1834 Londra'sında gerçekten bir protesto olup olmadığını merak ettim ve gerçekten de olmuş," şeklinde bir paylaşım yaptı.
Son bir aydır, tamamı 1800-1875 Londra metinleriyle eğitilmiş TimeCapsuleLLM adını verdiği küçük bir yapay zeka dil modeli geliştiren öğrenci, modelin Viktorya dönemi sesini otantik bir şekilde yakalamayı hedefliyor. Bu sayede yapay zeka, yoğun dini referanslar ve döneme uygun retorik kullanımlarıyla metinler üretebiliyor.
Bu proje, daha büyük temel modeller içerenlere "Tarihsel Büyük Dil Modelleri" adı verilen ve geçmiş dönemlerin dilsel örüntüleriyle düşünce süreçleriyle etkileşim kurma imkanı sunan, araştırmacıların keşfettiği büyüyen bir alana dahil oluyor. Benzer projeler arasında, 1400-1700 yılları arasındaki 11.000 metinle eğitilmiş ve 17. yüzyıl bilgi çerçevelerini kullanarak konularda tartışabilen bir model ve antik resmi kurallara göre klasik Çin şiiri üretebilen bir başka model de bulunuyor.
Öğrenciye göre, TimeCapsuleLLM'in en ilgi çekici son çıktısı basit bir testten ortaya çıktı. Yapay zekayı "Bizim Efendimiz 1834 yılıydı" diye yönlendirdiğinde, kullanıcıdan aldığı metni devam ettirmeye programlanmış olan yapay zeka, şu çıktıyı üretti: "Ama yine de Lord Palmerston da gündeme geldi ve Google'dan sonra onun eylemlerinin 1834 protestolarına yol açtığını öğrendim."
Yapay zeka tarafından üretilen metinde belirtilen detaylar, tarihsel gerçeklerle örtüşüyor gibi görünüyor: 1834 yılında, 1834 tarihli Fakirlik Yasası Değişiklik Yasası'nın ardından İngiltere'de önemli sivil huzursuzluklar yaşandı ve Palmerston, bu çalkantılı dönemde Büyük Britanya Dışişleri Bakanı olarak görev yaptı, daha sonra başbakan oldu.
Bir yandan, bu çıktı çok şaşırtıcı değil. ChatGPT gibi modelleri destekleyen yapay zeka dil modellerini oluşturan araştırmacılar, bu modellerin öğrendikleri metinlerden gerçekçi bilgi permütasyonları sentezleyebildiğini yıllardır biliyor. Bugün her yapay zeka asistanı bu şekilde çalışıyor.
Ancak bu olayı özellikle ilginç kılan şey, tek bir kişi tarafından eğitilen küçük bir hobi modelinin, belirli bir yılı gerçek olaylar ve kişilerle ilişkilendirerek, açıkça öğretilmemiş bu bağlantıları binlerce belgedeki dağınık referanslardan tutarlı bir tarihsel anı yeniden oluşturarak onu şaşırtmasıdır. Öğrenci, modeli kasıtlı olarak 1834 protesto belgeleriyle eğitmemişti; yapay zeka bu bağlantıları, 6.25 GB Viktorya dönemi yazısındaki ortam örüntülerinden bir araya getirdi.
Öğrenci, "Tüm bunlar sadece 5-6 GB veriyle oldu. 30 GB veya daha fazlasıyla ne sonuçlar hayal edin. Veriyi büyütmenin akıl yürütmeye yol açıp açmayacağından emin değilim ama şimdiden dijital bir zaman yolculuğu gibi hissettiriyor," diye paylaştı.
İstatistiksel Olarak Dilsel Zaman Yolculuğu
Geliştirici, yapay zeka dil modellerini modern metin kaynaklarıyla ince ayar yapmak yerine, yalnızca 1800-1875 yılları arasında Londra'da yayımlanmış 7.000'den fazla kitap, yasal belge ve gazete kullanarak baştan sona Viktorya dönemi kaynaklarıyla eğitiyor. Bu sürece "Seçici Zamansal Eğitim" veya STT adını veriyor. Kelimeleri daha kolay işleme için basitleştirilmiş temsillerine ayıran özel bir kelime çözümleyici, modern kelimeleri tamamen dışlıyor.
Öğrenci, modern veri kirliliği hakkında, "GPT-2 gibi bir şeyi ince ayar yaparsam, zaten önceden eğitilmiştir ve o bilgi kaybolmaz. Baştan eğitirsem, dil modeli eski gibi davranmaz, sadece öyle olur," diye açıkladı.
nanoGPT ve Microsoft'un Phi 1.5 gibi "küçük dil modellerinin" mimarilerini kullanan öğrenci, şimdiye kadar üç yapay zeka modeli eğitti ve her biri tarihsel tutarlılıkta gelişme gösterdi. Sadece 187MB ile eğitilen 0. sürüm, Viktorya dönemi jargonları üretti. 0.5 sürümü dilbilgisel olarak doğru dönem nesirleri elde etti ancak gerçekleri halüsinasyonlaştırdı. Kiralık bir A100 GPU üzerinde eğitilen mevcut 700 milyon parametreli sürüm, yukarıda görülen tarihsel referansları üretmeye başladı.
Öğrenci, özellikle modeller çok küçükken, yapay zeka araştırmacıları arasında iyi bilinen, yüksek kaliteli eğitim verilerinin boyutunu ölçeklendirmenin ortaya çıkan bir etkisi olarak zamanla yanılmalarda bir azalma buluyor. Öğrenci, "Daha önceki modeller (v0 ve v0.5) 19. yüzyıl yazı stillerini taklit edebiliyorlardı ancak her zaman olayları, kişileri ve gerçekleri halüsinasyonlaştırıyorlardı. Bu, modelin veri kümesinden şeyleri hatırlamaya başladığını gösteriyor," diye belirtti.
Tarihçiler ve dijital beşeri bilimler araştırmacıları için bu tür deneyler faydalı olabilir. Dönem metinleriyle yapay zeka dil modellerini eğitmek, araştırmacıya nesli tükenmiş bir lehçenin veya geçmişin bir dilinin simüle edilmiş bir konuşmacısıyla sohbet etme fırsatı sunan etkileşimli dönem dil modellerinin oluşturulmasına olanak tanıyabilir. Sonuçlar, halüsinasyonlar nedeniyle mutlaka tarihsel olarak titiz olmayabilir, ancak antika sözdizimi veya kullanımda olan kelime dağarcığı üzerinde çalışan biri için üslup olarak aydınlatıcı olabilir.
Öğrenci, "Sonunda farklı şehirleri, belki de Çin, Rusya veya Hindistan'dan bir şehir modelini denemek istiyorum," diyerek gelecekte eğitebileceği yapay zeka modelleri üzerinde başkalarıyla işbirliği yapmaya davet etti. Çalışmasının kodunu, yapay zeka model ağırlıklarını ve belgelerini GitHub'da kamuya açık hale getiriyor.
Sık sık yapay zeka halüsinasyonlarının olduğu bir çağda, kazara doğruyu söyleyen bir modelle ilgili ferahlatıcı bir şey var. Bu, halüsinasyonun neredeyse tersi - bir yapay zeka modelinin kazara bir şeyi doğru yapması. Buna "olay-gerçek" diyebiliriz.
