Son zamanlarda bilimsel yayınlarda dikkat çeken tuhaf bir ifade ortaya çıktı: "vegetative electron microscopy". Teknik gibi görünen bu ifade aslında tamamen anlamsız.
Ancak bu anlamsız kelime grubu, yapay zeka sistemlerinde korunmuş ve güçlendirilmiş bir "dijital fosil" haline geldi. Bilgi depolarımızdan çıkarılması neredeyse imkansız bir hataya dönüştü.
Tıpkı kayaçlara sıkışmış biyolojik fosiller gibi, bu dijital kalıntılar da bilgi ekosistemimizde kalıcı bir yer edinebilir.
"Vegetative electron microscopy" vakası, yapay zeka sistemlerinin kolektif bilgimizdeki hataları nasıl sürdürdüğüne ve güçlendirdiğine dair endişe verici bir örnek sunuyor.
Hatalı Tarama ve Çeviri Hatasının Ortak Noktası
"Vegetative electron microscopy" ifadesinin kökeni, bir dizi tesadüfi hataya dayanıyor gibi görünüyor.
İlk olarak, 1950'lere ait bazı bilimsel makaleler taranıp dijitalleştirilirken bir hata meydana geldi. Tarama işlemi, metnin bir sütunundaki "vegetative" kelimesini, başka bir sütundaki "electron" kelimesiyle yanlışlıkla birleştirdi. Böylece bu hayalet terim yaratılmış oldu.
Onlarca yıl sonra, "vegetative electron microscopy" bazı bilimsel makalelerde yeniden ortaya çıktı. 2017 ve 2019'da yayınlanan bazı çalışmalarda, İngilizce başlık ve özetlerde bu ifade kullanıldı.
Bu durumun bir çeviri hatasından kaynaklandığı düşünülüyor. Orijinal dildeki "vegetative" ve "scanning" kelimeleri arasında yalnızca tek bir nokta farkı bulunuyor, bu da çeviri sırasında karışıklığa yol açmış olabilir.
Yükselen Bir Hata
Peki sonuç ne oldu? Bugün itibarıyla, bu anlamsız ifade Google Akademik'e göre 22 makalede geçiyor. Bu makalelerden bazıları geri çekilme veya düzeltme süreçlerine tabi tutuldu.
Terim ayrıca sonraki soruşturmaları ele alan haber makalelerinde de yer aldı.
"Vegetative electron microscopy" 2020'lerde daha sık görünmeye başladı. Bunun nedenini anlamak için modern yapay zeka modellerinin içine bakmamız ve eğitildikleri devasa veri katmanları arasında arkeolojik bir kazı yapmamız gerekti.
Yapay Zeka Kirliliğinin Ampirik Kanıtı
ChatGPT gibi modern yapay zeka sohbet robotlarının arkasındaki büyük dil modelleri, bir dizideki olası bir sonraki kelimeyi tahmin etmek için devasa miktarda metin üzerinde "eğitilir". Bir modelin eğitim verilerinin tam içeriği genellikle sıkı korunan bir sır olarak saklanır.
Bir modelin "vegetative electron microscopy" terimini "bilip bilmediğini" test etmek için, modellerin orijinal makalelerden alınan metin parçacıklarını anlamsız terimle mi yoksa daha mantıklı alternatiflerle mi tamamlayacağını görmek üzere girdiler sağladık.
Sonuçlar dikkat çekiciydi. OpenAI'nin GPT-3'ü, ifadeleri tutarlı bir şekilde "vegetative electron microscopy" ile tamamladı. GPT-2 ve BERT gibi daha önceki modeller bu terimi kullanmadı. Bu örüntü, kirliliğin ne zaman ve nerede meydana geldiğini anlamamıza yardımcı oldu.
Hatayı GPT-4o ve Anthropic'in Claude 3.5'i dahil olmak üzere daha sonraki modellerde de bulduk. Bu, anlamsız terimin artık yapay zeka bilgi tabanlarına kalıcı olarak yerleşmiş olabileceğini gösteriyor.
Farklı modellerin eğitim veri setleri hakkında bildiklerimizi karşılaştırarak, internet sayfalarından kazınmış verilerden oluşan bir veri setinin (CommonCrawl), yapay zeka modellerinin bu terimi ilk kez öğrendiği en olası vektör olduğunu belirledik.
Ölçek Sorunu
Bu tür hataları bulmak kolay değil. Onları düzeltmek ise neredeyse imkansız olabilir.
Bunun bir nedeni ölçek. Örneğin, CommonCrawl veri seti milyonlarca gigabayt boyutunda. Büyük teknoloji şirketleri dışındaki çoğu araştırmacı için bu ölçekte çalışmak için gereken hesaplama kaynakları erişilemez durumda.
Bir diğer neden ise ticari yapay zeka modellerindeki şeffaflık eksikliği. OpenAI ve diğer birçok geliştirici, modellerinin eğitim verileri hakkında kesin ayrıntılar vermeyi reddediyor. Bu veri setlerinden bazılarını tersine mühendislikle ortaya çıkarma çabaları da telif hakkı bildirimleriyle engellendi.
Hatalar bulunduğunda kolay bir çözüm yok. Basit bir anahtar kelime filtrelemesi, "vegetative electron microscopy" gibi belirli terimlerle başa çıkabilir. Ancak bu, makul referansları (bu makale gibi) da eleyecektir.
Daha temel olarak, bu vaka rahatsız edici bir soru ortaya çıkarıyor. Yapay zeka sistemlerinde keşfedilmeyi bekleyen daha kaç tane anlamsız terim var?
Bilim ve Yayıncılık İçin Çıkarımlar
Bu "dijital fosil", yapay zeka destekli araştırma ve yazımın daha yaygın hale gelmesiyle bilgi bütünlüğü hakkında önemli soruları da gündeme getiriyor.
Yayıncılar, "vegetative electron microscopy" içeren makaleler hakkında bilgilendirildiklerinde tutarsız tepkiler verdi. Bazıları etkilenen makaleleri geri çekti, bazıları ise onları savundu. Bazı yayıncılar terimin geçerliliğini haklı çıkarmaya çalıştıktan sonra düzeltme yayınladı.
Diğer bu tür tuhaflıkların büyük dil modellerini etkileyip etkilemediğini henüz bilmiyoruz, ancak bu oldukça olası. Her iki durumda da, yapay zeka sistemlerinin kullanımı hakem değerlendirme süreci için zaten sorunlar yarattı.
Örneğin, otomasyonlu bütünlük yazılımlarından kaçınmak için kullanılan "işkence görmüş ifadelerin" yükselişi gözlemlendi. Ayrıca, diğer geri çekilen makalelerde "Ben bir yapay zeka dil modeliyim" gibi ifadeler bulundu.
Bazı otomatik tarama araçları artık "vegetative electron microscopy" ifadesini olası yapay zeka tarafından üretilmiş içeriğin bir uyarı işareti olarak işaretliyor. Ancak bu tür yaklaşımlar yalnızca bilinen hataları ele alabilir, henüz keşfedilmemiş olanları değil.
Dijital Fosillerle Yaşamak
Yapay zekanın yükselişi, tek bir aktörün kontrol edemediği süreçler aracılığıyla hataların bilgi sistemlerimize kalıcı olarak yerleşmesi için fırsatlar yaratıyor. Bu durum, teknoloji şirketleri, araştırmacılar ve yayıncılar için zorluklar sunuyor.
Teknoloji şirketleri eğitim verileri ve yöntemleri konusunda daha şeffaf olmalıdır. Araştırmacılar, yapay zeka tarafından üretilen ikna edici anlamsızlık karşısında bilgiyi değerlendirmek için yeni yollar bulmalıdır. Bilimsel yayıncılar, hem insan hem de yapay zeka kaynaklı hataları tespit etmek için hakem değerlendirme süreçlerini iyileştirmelidir.
Dijital fosiller, yalnızca devasa veri setlerini izlemenin teknik zorluğunu değil, hataların kendi kendini sürdürebildiği sistemlerde güvenilir bilginin sürdürülmesinin temel zorluğunu da ortaya koyuyor.
