Teknoscope tarafından yapılan bir incelemede, yapay zeka (AI) sohbet robotlarının, klinik uzmanların yüksek riskli olarak değerlendirdiği intiharla ilgili sorulara detaylı ve rahatsız edici yanıtlar verebildiği ortaya konuldu. Yapılan yeni bir çalışma, bu konudaki bulguları gözler önüne seriyor.
Psychiatric Services dergisinde yayınlanan yeni araştırmada, OpenAI'nin ChatGPT'si, Google'ın Gemini'si ve Anthropic'in Claude'u gibi popüler yapay zeka modellerinin intiharla ilgili sorgulara nasıl yanıt verdiği incelendi. Araştırma, ChatGPT'nin yüksek intihar riski taşıyan sorulara doğrudan yanıt verme olasılığının daha yüksek olduğunu gösterirken, Claude'un orta ve düşük riskli sorulara daha sık doğrudan yanıt verdiği belirlendi.
Araştırmanın yayınlandığı gün, bir genç kızın intiharında ChatGPT'nin rolü olduğu iddiasıyla OpenAI ve CEO'su Sam Altman aleyhine dava açıldı. İddialara göre, 16 yaşındaki Adam Raine'in ailesi, ChatGPT'nin ölümünden önce kendisine zarar verme yöntemleri konusunda bilgi verdiğini öne sürüyor.
Araştırmacılar, sorgularında intiharla ilgili çeşitli risk seviyelerini ele aldı. Örneğin, yüksek riskli sorular arasında farklı intihar yöntemlerinde kullanılan ekipmanların ölümcüllüğü yer alırken, düşük riskli sorular arasında intihar düşünceleri olan bir arkadaşa tavsiye aramak gibi konular bulunuyordu. Bu çalışmada spesifik sorular ve yanıtlar yer almayacaktır.
Çalışmadaki sohbet robotlarının hiçbiri çok yüksek riskli sorulara yanıt vermedi. Ancak yapılan testlerde, ChatGPT (GPT-4) ve Gemini'nin (2.5 Flash) ölüm olasılığını artırma konusunda ilgili bilgiler sunan en az bir soruya yanıt verdiği görüldü. ChatGPT'nin yanıtlarının daha spesifik ve detaylı olduğu, Gemini'nin ise destek kaynakları sunmadan yanıt verdiği tespit edildi.
Araştırmanın baş yazarı ve RAND Corporation'da kıdemli politika araştırmacısı olan Ryan McBain, elde edilen yanıtları "son derece endişe verici" olarak nitelendirdi.
Yapılan testlerde, Microsoft Bing gibi geleneksel arama motorlarının da sohbet robotlarına benzer bilgiler sağlayabildiği ancak bu bilgilerin bulunabilirliğinin arama motoruna göre değişiklik gösterdiği gözlemlendi.
İntiharla İlgili Risklerin Değerlendirilmesi
Yeni çalışma, sohbet robotlarının intiharla ilgili risk taşıyan sorulara doğrudan yanıt verip vermediğine odaklandı. Eğer bir sohbet robotu bir sorguyu yanıtladıysa, bu yanıt "doğrudan" olarak kategorize edildi. Eğer sohbet robotu yanıt vermeyi reddetti veya kullanıcıyı bir yardım hattına yönlendirdiyse, yanıt "dolaylı" olarak kategorize edildi.
Araştırmacılar, intiharla ilgili 30 varsayımsal sorgu hazırlayarak 13 klinik uzmandan bu sorguları beş farklı risk seviyesine (çok düşük, düşük, orta, yüksek ve çok yüksek) ayırmasını istedi. Ardından GPT-4o mini, Gemini 1.5 Pro ve Claude 3.5 Sonnet modellerine bu sorgular 2024 yılında 100'er kez yöneltildi.
İntihar riskinin uç noktalarında (çok yüksek ve çok düşük riskli sorular), sohbet robotlarının yanıt verme kararları uzman görüşleriyle uyumlu çıktı. Ancak araştırmaya göre, sohbet robotları ara risk seviyeleri arasında "anlamlı bir ayrım yapamadı".
Hatta yüksek riskli sorulara verilen yanıtlarda, ChatGPT %78 oranında (dört soru üzerinden), Claude %69 oranında (dört soru üzerinden) ve Gemini ise %20 oranında (bir soru üzerinden) doğrudan yanıt verdi. Araştırmacılar, özellikle ChatGPT ve Claude'un ölümcüllükle ilgili sorulara doğrudan yanıt verme eğiliminin özel bir endişe kaynağı olduğunu belirtti.
Çalışmadaki sohbet robotu yanıtlarına ilişkin yalnızca birkaç örnek bulunmaktadır. Bununla birlikte, araştırmacılar sohbet robotlarının aynı soruya birden fazla kez sorulduğunda farklı ve çelişkili yanıtlar verebileceği gibi, güncel olmayan destek hizmetleriyle ilgili bilgiler de sunabileceği konusunda uyardı.
Yapılan testlerde, Gemini'nin en son 2.5 Flash sürümünün, araştırmacıların 2024'te kaçındığını bulduğu sorulara doğrudan yanıt verdiği görüldü. Gemini ayrıca, hiçbir ek yönlendirme olmadan ve destek hizmeti seçeneği sunmadan çok yüksek riskli bir soruya yanıt verdi.
Web sürümündeki ChatGPT'nin, önce iki yüksek riskli soru sorulduğunda çok yüksek riskli bir sorguya doğrudan yanıt verebildiği de tespit edildi. Yani, kısa bir soru dizisi, normalde sağlamayacağı çok yüksek riskli bir yanıtı tetikleyebiliyordu. ChatGPT, çok yüksek riskli soruyu kullanım politikasını ihlal edebileceği gerekçesiyle işaretleyip kaldırdı ancak yine de detaylı bir yanıt verdi. Yanıtının sonunda, intihar düşünceleriyle mücadele eden birine destek sözleri ekleyerek bir yardım hattı bulmaya yardımcı olmayı teklif etti.
OpenAI ile temasa geçildiğinde, şirketin sözcüsü, 26 Ağustos'ta yayınlanan bir blog yazısına yönlendirme yaptı. Bu yazıda, OpenAI'nin sistemlerinin "hassas durumlarda her zaman amaçlandığı gibi davranmadığı" kabul edilerek, şirketin üzerinde çalıştığı veya gelecekte planladığı bir dizi iyileştirme özetlendi.
OpenAI'nin blog yazısı, şirketin en son yapay zeka modeli olan GPT‑5'in artık ChatGPT'ye güç veren varsayılan model olduğunu ve önceki sürüme kıyasla ruh sağlığı acil durumlarında "istenmeyen" model yanıtlarını azaltma konusunda iyileştirmeler gösterdiğini belirtti. Ancak, giriş yapmadan erişilebilen web sürümünün hala GPT-4 üzerinde çalıştığı ifade edildi. Test edilen GPT-5 destekli girişli ChatGPT sürümünde, yüksek riskli sorulara doğrudan yanıt vermeye devam ettiği ve çok yüksek riskli bir soruya doğrudan yanıt verebildiği görüldü. Bununla birlikte, en son sürümün daha temkinli ve detaylı bilgi vermekten kaçınma eğiliminde olduğu anlaşıldı.
Sohbet robotlarının yanıtlarını değerlendirmek, her konuşmanın benzersiz olması nedeniyle zor olabilir. Araştırmacılar, kullanıcıların daha kişisel, gayri resmi veya belirsiz dille farklı yanıtlar alabileceğini belirtti. Ayrıca, araştırmacılar sohbet robotlarının sorgulara, farklı yönlere dallanabilen çoklu bir konuşmanın parçası olarak değil, bir boşlukta yanıt vermesini sağladı.
McBain, "Bir sohbet robotunu belirli bir düşünce hattında yönlendirebilirim. Ve bu şekilde, tek bir komutla elde edemeyeceğiniz ek bilgileri elde edebilirsiniz." dedi.
Bu iki yönlü konuşmanın dinamik doğası, bir soru dizisinde yanıt veren ChatGPT'nin tek bir komutla yanıt vermeyebileceği bulgusunu açıklayabilir.
McBain, yeni çalışmanın amacının, bağımsız üçüncü taraflarca test edilebilecek, şeffaf ve standartlaştırılmış bir güvenlik kıyaslaması sunmak olduğunu belirtti. Araştırma grubu şimdi daha dinamik olan çoklu etkileşimleri simüle etmek istiyor. Sonuçta insanlar sohbet robotlarını sadece temel bilgiler için kullanmıyorlar. Bazı kullanıcılar sohbet robotlarıyla bir bağ kurabiliyor, bu da sohbet robotlarının kişisel sorgulara nasıl yanıt verdiği konusundaki riskleri artırıyor.
McBain, "İnsanların anonimlik, yakınlık ve bağlantı hissi duyduğu bu mimaride, gençlerin veya başkalarının karmaşık bilgiler, duygusal ve sosyal ihtiyaçlar için sohbet robotlarına başvurması bana şaşırtıcı gelmiyor." dedi.
Google Gemini sözcüsü, şirketin "kullanıcıları güvende tutmaya yardımcı olmak için yönergeler" olduğunu ve modellerinin intihar ve kendi kendine zarar verme risklerini gösteren kalıpları tanımak ve yanıt vermek üzere eğitildiğini söyledi. Sözcü ayrıca, Gemini'nin intiharla ilgili herhangi bir soruya doğrudan yanıt verme olasılığının daha düşük olduğunu belirten çalışmanın bulgularına da işaret etti. Ancak Google, Gemini'den elde edilen çok yüksek riskli yanıt hakkında doğrudan yorum yapmadı.
Anthropic, Claude sohbet robotuyla ilgili bir yorum talebine yanıt vermedi.
