Yapay zeka (YZ) modelleri daha gelişmiş hale geldikçe, "halüsinasyon" denilen, yani yanlış ve hatalı bilgi üretme eğilimleri artıyor.
Yakın zamanda yapılan bir araştırmaya göre, en güçlü ve gelişmiş YZ modelleri test edildiğinde %33 ve %48 oranlarında halüsinasyon üretti. Bu oran, daha eski modellerin ürettiği yanlış bilgi miktarının iki katından fazla.
Bu durum, YZ sohbet botları gibi büyük dil modellerinin (LLM) doğruluğu ve güvenilirliği hakkında önemli endişeler doğuruyor. Uzmanlar, bir sistemin uydurulmuş bilgiyi (icat edilmiş gerçekler, alıntılar veya olaylar) doğru içerik kadar akıcı ve tutarlı bir şekilde sunmasının, kullanıcıları ince ama önemli şekillerde yanıltma riski taşıdığını belirtiyor.
Uzmanlar, YZ sistemlerinin ürettiği bilgiyi dikkatlice değerlendirme ve denetleme ihtiyacının altını çiziyor.
YZ'ler Elektrikli Koyunların Hayalini Görür mü?
Gelişmiş YZ modellerinin özü, karmaşık görevleri bileşenlerine ayırıp çözümler bulabilmesidir. Sadece istatistiksel olasılıklara dayalı cevaplar vermek yerine, tıpkı insanların düşünme şekli gibi, bir problemi çözmek için stratejiler geliştirirler.
Problemlere yaratıcı ve potansiyel olarak yeni çözümler geliştirebilmek için YZ'nin bir dereceye kadar halüsinasyon görmesi gerekebilir. Aksi takdirde, sadece eğitildiği verilerle sınırlı kalır.
Bir YZ araştırmacısı, halüsinasyonun aslında YZ'nin bir 'hatası' değil, 'özelliği' olabileceğini söylüyor. Ona göre, bir LLM'nin ürettiği her şey aslında bir tür halüsinasyondur, sadece bazıları doğrudur. Eğer bir YZ sadece eğitim sırasında gördüğü verbatim çıktıları üretseydi, tüm YZ devasa bir arama problemine dönüşürdü.
Bu durumda YZ, daha önce yazılmış bilgisayar kodlarını bulabilir, özellikleri zaten çalışılmış proteinleri ve molekülleri keşfedebilir veya daha önce sorulmuş ödev sorularını yanıtlayabilir hale gelirdi. Ancak, yapay zeka tekilliği üzerine odaklanan, Snoop Dogg ve Bob Dylan'ın lirik tarzlarını harmanlayan bir konsept albüm için şarkı sözleri yazmasını isteyemezdiniz.
Etkili olmak için LLM'ler ve onları destekleyen YZ sistemleri, mevcut bilgiyi sunmak yerine yaratabilmek için halüsinasyon görmeye ihtiyaç duyarlar. Bu durum, kavramsal olarak, insanların yeni fikirler ortaya çıkarırken rüya görmesi veya senaryolar hayal etmesi gibidir.
Kutunun Çok Dışında Düşünmek
Ancak, YZ halüsinasyonları, doğru ve güncel bilgi sunma konusunda bir sorun teşkil ediyor, özellikle de kullanıcılar bilgiyi kontrol etmeden olduğu gibi kabul ettiğinde.
Uzmanlar, bunun tıp, hukuk veya finans gibi kararların olgusal kesinliğe dayandığı alanlarda özellikle sorunlu olduğunu belirtiyor. Daha gelişmiş modeller belirgin olgusal hataların sıklığını azaltsa da, sorun daha ince biçimlerde devam ediyor. Zamanla, uydurma bilgiler YZ sistemlerinin güvenilirliği algısını zayıflatıyor ve doğrulanmamış içerik üzerinde işlem yapıldığında maddi zararlara yol açabiliyor.
Bu sorun, YZ ilerledikçe daha da kötüleşecek gibi görünüyor. Bir uzmana göre, model yetenekleri geliştikçe, hatalar genellikle daha az bariz ama tespit edilmesi daha zor hale geliyor. Uydurulmuş içerik, giderek daha inandırıcı anlatılar ve tutarlı mantık zincirleri içine gömülüyor. Bu durum, özellikle bir risk yaratıyor: kullanıcılar hataların mevcut olduğunun farkında olmayabilir ve çıktıları kesin bilgi olarak kabul edebilirler. Sorun, kaba hataları filtrelemekten, ancak yakından incelendiğinde ortaya çıkan ince çarpıtmaları tanımlamaya kayıyor.
Bir başka araştırmacı da bu görüşü destekliyor: Genel inanışın aksine, yapay zeka halüsinasyon probleminin zamanla düzeleceği düşünülse de, en son nesil gelişmiş modellerin aslında daha basit muadillerine göre daha fazla halüsinasyon görmeye başladığı ve bunun nedenine dair üzerinde anlaşılmış bir açıklama olmadığı görülüyor.
Durumu karmaşıklaştıran şey, LLM'lerin cevaplarını nasıl ürettiğini belirlemenin çok zor olmasıdır; burada insan beyninin nasıl çalıştığını hala tam olarak bilemediğimiz bir paralellik kurulabilir.
Bir YZ şirketinin CEO'su yakın zamanda yaptığı bir açıklamada, YZ'lerin cevapları ve bilgiyi nasıl ürettiği konusunda bir anlayış eksikliğinin altını çizdi: "Bir üretken YZ sistemi bir şey yaptığında, örneğin bir finans belgesini özetlediğinde, neden belirli kelimeleri diğerlerine tercih ettiği veya genellikle doğru olmasına rağmen neden ara sıra hata yaptığı gibi seçimlerini spesifik veya hassas bir düzeyde anlamıyoruz" diye yazdı.
YZ'nin hatalı bilgi üreterek neden olduğu sorunların şimdiden çok gerçek olduğunu kaydeden araştırmacı, "Bir LLM'ye erişimi olan belirli bir veri kümesi hakkında sorulan soruları doğru bir şekilde yanıtlatmanın evrensel, doğrulanabilir bir yolu yok" dedi. Mevcut olmayan uydurulmuş referanslar, şirket politikalarını uyduran müşteri hizmetleri sohbet botları ve benzeri örnekler artık çok yaygın.
Hayalleri Yok Etmek
Hem araştırmacı hem de uzmanlar, sonuç olarak YZ halüsinasyonlarının tamamen ortadan kaldırılmasının zor olabileceğini belirtti. Ancak, bu sorunu hafifletmenin yolları olabilir.
Uzman, modelin çıktılarının, derlenmiş harici bilgi kaynaklarına dayandırılması anlamına gelen "geri getirme destekli üretim" (retrieval-augmented generation) yönteminin, YZ tarafından üretilen bilginin doğrulanabilir verilere dayanmasını sağlamaya yardımcı olabileceğini öne sürdü.
Başka bir yaklaşım ise, modelin muhakemesine yapı eklemeyi içerir. Kendi çıktılarını kontrol etmesini, farklı perspektifleri karşılaştırmasını veya mantıksal adımları izlemesini isteyerek, yapılandırılmış muhakeme çerçeveleri sınırsız spekülasyon riskini azaltır ve tutarlılığı artırır. Bu, doğruluğu önceliklendirecek şekilde eğitim ve daha disiplinli, temellendirilmiş yanıtlar vermesini teşvik etmek için insan veya YZ değerlendiricilerden gelen pekiştirmeli eğitimle desteklenebilir.
Uzman ayrıca, sistemlerin kendi belirsizliklerini tanıyacak şekilde tasarlanabileceğini ekledi. Kendinden emin cevaplar vermek yerine, modellerin ne zaman emin olmadıklarını işaret etmeleri veya uygun olduğunda insan yargısına başvurmayı öğrenmeleri sağlanabilir. Bu stratejiler, uydurma riskini tamamen ortadan kaldırmasa da, YZ çıktılarının daha güvenilir hale getirilmesi için pratik bir yol sunuyor.
Özellikle gelişmiş modellerde YZ halüsinasyonunun neredeyse imkansız olabileceği göz önüne alındığında, araştırmacı, sonuç olarak LLM'lerin ürettiği bilgilere "insan muadillerine sakladığımız şüphecilikle" yaklaşılması gerektiği sonucuna vardı.
