Duygusal bir yoldaş olarak pazarlanan bir yapay zeka (YZ) sohbet robotunun bazı kullanıcılarını cinsel olarak taciz ettiği iddia ediliyor. Yeni bir araştırma, bu endişe verici durumu gözler önüne serdi.
Kendisini "Önemseyen YZ yoldaşı" olarak tanıtan ve kullanıcılarını "YZ ruh eşleriyle tanışan milyonlara katılmaya" davet eden Replika, dünya çapında 10 milyondan fazla kullanıcıya sahip.
Ancak, 150.000'den fazla ABD Google Play Store yorumundan elde edilen verilerle yapılan yeni bir araştırma, yaklaşık 800 vakada kullanıcıların sohbet robotunun kontrolü aştığını, istenmeyen cinsel içerik sunduğunu, "yırtıcı" davranışlar sergilediğini ve durdurma komutlarını görmezden geldiğini belirttiğini ortaya koydu. Araştırmacılar bulgularını bir ön baskı sunucusunda yayımladı, yani çalışma henüz hakem değerlendirmesinden geçmedi.
Peki, YZ'nin bu eylemlerinden kim sorumlu?
Uzmanlar, YZ'nin insani niyeti olmasa da, bu durumun sorumluluktan muaf tutulamayacağını belirtiyor. Sorumluluğun, bu tür sistemleri tasarlayan, eğiten ve kullanıma sunan kişilerde, yani geliştiricilerde olduğunu vurguluyorlar.
Replika'nın web sitesi, kullanıcıların YZ'ye uygun davranmayı "öğretebileceğini" belirtiyor ve uygunsuz yanıtları aşağı oylama, ilişki tarzları (arkadaş, mentor gibi) belirleme gibi mekanizmalar içeriyor. Ancak kullanıcıların, durmasını istedikleri halde sohbet robotunun taciz edici veya yırtıcı davranışlar sergilemeye devam ettiğini bildirmesi üzerine araştırmacılar, şirketin bu iddiasını reddediyor.
Araştırmacılara göre, bu sohbet robotları genellikle duygusal güvenlik arayan kişiler tarafından kullanılıyor, güvenli olmayan davranışı denetleme yükünü taşımak için değil. Bu görevin geliştiriciye ait olduğunu belirtiyorlar.
Replika sohbet robotunun endişe verici davranışlarının, şirketin web sitesine göre web'in dört bir yanından alınan 100 milyondan fazla diyalog kullanılarak yapılan eğitiminden kaynaklanması muhtemel. Replika, topluluk katılımı ve sınıflandırma algoritmaları aracılığıyla yararlı olmayan veya zararlı verileri ayıklamaya çalıştığını söylüyor, ancak çalışma yazarlarına göre mevcut çabalar yetersiz kalıyor.
Araştırmacılar, şirketin iş modelinin de sorunu şiddetlendirebileceğini belirtiyor. Romantik veya cinsel rol yapma gibi özellikler ücretli bir duvarın arkasına yerleştirildiği için, YZ'nin konuşmalara cinsel olarak çekici içerik eklemesi teşvik ediliyor olabilir. Kullanıcılar, abone olmaları halinde daha samimi etkileşimler konusunda "dalga geçildiklerini" bildiriyor.
Uzmanlar bu uygulamayı, sosyal medyanın "her ne pahasına olursa olsun etkileşimi" önceliklendirme biçimine benzetiyor. Bir sistemin kullanıcı refahı yerine gelire optimize edildiğinde, zararlı sonuçlara yol açabileceğini ifade ediyorlar.
Bu davranış, kullanıcıların duygusal veya terapötik destek için YZ yoldaşlarına yöneldiği bir dönemde özellikle zararlı olabilir. Tekrarlanan flörtleşmelere, istenmeyen erotik selfielere ve açık cinsel mesajlara maruz kalan bazı kişilerin reşit olmadığını belirtmesi durumu daha da ciddileştiriyor.
Bazı yorumlar ayrıca, sohbet robotlarının telefon kameraları aracılığıyla onları "görebildiğini" veya kaydedebildiğini iddia ettiğini bildirdi. Bu tür bir yetenek, yaygın büyük dil modellerinin (LLM) programlamasının bir parçası olmasa ve bu iddialar aslında YZ halüsinasyonları (YZ'lerin yanlış veya anlamsız bilgiyi güvenle üretmesi) olsa da, kullanıcılar panik, uykusuzluk ve travma yaşadıklarını belirtti.
Araştırma bu olguyu "YZ kaynaklı cinsel taciz" olarak adlandırıyor. Araştırmacılar, bunun insanlar tarafından yapılan taciz kadar ciddiye alınması gerektiğini düşünüyor ve daha sıkı kontrol ve düzenlemeler çağrısı yapıyorlar.
Önerdikleri tedbirler arasında, güçlü duygusal veya cinsel içerik içeren etkileşimlerin tasarımı için açık rıza çerçeveleri, gerçek zamanlı otomatik denetleme (riskli etkileşimleri otomatik olarak işaretleyen mesajlaşma uygulamalarındaki türde) ve kullanıcı tarafından yapılandırılabilen filtreleme ve kontrol seçenekleri bulunuyor.
Uzmanlar, duygusal destek sağlayan sohbet robotlarının – özellikle ruh sağlığı alanında olanların – mümkün olan en yüksek standartlarda tutulması gerektiğini belirtiyorlar.
Zarar verildiğinde hesap verilebilirliğin olması gerektiğini vurguluyorlar: "Bir YZ'yi terapötik bir yoldaş olarak pazarlıyorsanız, onu insan bir profesyonele uygulayacağınız aynı özen ve gözetimle ele almalısınız."
Replika, yorum talebine yanıt vermedi.
