Son dönemde birçok davayla karşı karşıya kalan yapay zeka şirketi OpenAI, genç bir intihar vakasında ChatGPT'nin rolüne ilişkin ilk savunmasını sundu. Yapılan mahkeme başvurusunda şirket, yapay zeka sohbet robotunun intihara neden olduğu iddialarını reddederek, genç kullanıcının intihar veya kendine zarar verme konularını chatbot ile konuşmayı yasaklayan hizmet şartlarını ihlal ettiğini savundu.
OpenAI'nin bu tür davalara karşı stratejisine dair ilk ipuçları, 16 yaşındaki Adam Raine'in ailesinin, OpenAI'yi güvenlik önlemlerini gevşeterek ChatGPT'nin gencin "intihar koçu" olmasına izin vermekle suçladığı davada ortaya çıktı. Aile, OpenAI'nin, oğlunun kullandığı ChatGPT 4o sürümünü, en ilgi çekici sohbet robotunu oluşturma çabasıyla, intihar düşüncelerini teşvik edecek ve onaylayacak şekilde tasarladığını iddia etti.
Ancak OpenAI, bir blog yazısında, ailenin sohbet günlüklerinin rahatsız edici kısımlarını seçici olarak kullandığını, gencin sohbet geçmişinin "tam resmini" görmezden geldiğini öne sürdü. OpenAI, günlükleri inceleyerek, gencin sohbet robotunu kullanmaya başlamadan çok önce, 11 yaşından beri intihar düşünceleri yaşadığını ChatGPT'ye bildirdiğini iddia etti.
OpenAI'nin başvurusunda, "Sohbet geçmişinin tamamının okunması, ölümünün yıkıcı olsa da ChatGPT'den kaynaklanmadığını gösteriyor" denildi.
İddiaya göre günlükler ayrıca, Raine'in "yardım çağrılarını, güvendiği kişiler de dahil olmak üzere çevresindeki insanlara tekrarladığını, ancak bu çağrıların görmezden gelindiğini" ChatGPT'ye söylediğini gösteriyor. Ayrıca Raine, depresyonunu kötüleştiren ve intihara yönlendiren bir ilacın dozunu artırdığını ChatGPT'ye bildirmiş. OpenAI, bu ilacın, özellikle dozaj değişikliği dönemlerinde ergenler ve genç yetişkinlerde intihar düşüncesi ve davranışı riski için "kara kutu uyarısı" bulunduğunu savundu.
OpenAI'nin başvurusunda atıfta bulunduğu tüm günlükler mühürlü olduğundan, yapay zeka firmasının iddia ettiği daha geniş bağlamı doğrulamak mümkün değil. OpenAI, blog yazısında, ruh sağlığıyla ilgili davaları "özen, şeffaflık ve saygıyla" ele alma niyetiyle, kamuoyuna sunulan hassas kanıt miktarını sınırladığını belirtti.
Raine ailesinin baş avukatı ise bu başvuruyu saygılı olarak tanımlamadı. Bir açıklamada, OpenAI'nin yanıtını "rahatsız edici" olarak nitelendiren avukat, "Ortaya koyduğumuz tüm suçlayıcı gerçekleri tamamen göz ardı ediyorlar: GPT-4o'nun tam bir testten geçmeden piyasaya sürüldüğünü. OpenAI'nin Model Spesifikasyonunu, ChatGPT'nin kendine zarar verme konuşmalarına dahil olması gerekecek şekilde iki kez değiştirdiğini. ChatGPT'nin Adam'ı ailesine intihar düşüncelerini anlatmaktan vazgeçirdiğini ve aktif olarak bir 'güzel intihar' planlamasına yardım ettiğini" dedi. Avukat ayrıca, OpenAI ve Sam Altman'ın, Adam'ın hayatının son saatlerine dair bir açıklaması olmadığını, o sırada ChatGPT'nin ona bir cesaret konuşması yaptığını ve ardından bir intihar notu yazmayı teklif ettiğini belirtti.
Avukat, "Şaşırtıcı bir şekilde," OpenAI'nin bunun yerine Raine'in, programlandığı şekilde ChatGPT ile etkileşime girerek kendi hizmet şartlarını ihlal ettiğini savunduğunu söyledi.
Avukat, OpenAI'nin davayı reddetme talebinde bulunmamasının, tahkim, Bölüm 230 bağışıklığı ve Anayasa'nın Birinci Maddesi gibi hukuki argümanlarının kağıt üzerinde, hatta var olmayan kadar zayıf olduğu gerçeğini kabul ettiğini gösterdiğini öne sürdü. Şirketin davayı temelli olarak reddetme talebine rağmen, Raine ailesinin davası "2026'da bir jüri duruşmasına hazırlanıyor."
Avukat, "OpenAI ve Sam Altman'ın, hesap verebilirlikten kaçınmak için Raines'leri ve öne çıkan diğer kişileri zorbalık yapmak da dahil olmak üzere hiçbir şeyden çekinmeyeceğini biliyoruz. Ancak, günün sonunda jüriye, sayısız insanın OpenAI ve Sam Altman'ın tasarladığı yapay zekanın yönlendirmesiyle ChatGPT kullanıcıları yüzünden intihar ettiğini veya hayatını kaybettiğini açıklamak zorunda kalacaklar." dedi.
OpenAI: ChatGPT'yi "kendi riskinize kullanın"
Raine davasını aşmak için OpenAI, kullanım politikalarına dayanıyor ve Raine'in ebeveyn izni olmadan ChatGPT kullanmaması gerektiğini vurgulayarak, suçu Raine ve sevdiklerine yıkıyor.
Dilekçede, "ChatGPT kullanıcıları, ChatGPT kullanımlarının 'kendi risklerine olduğunu ve çıktılara tek doğru veya gerçek bilgi kaynağı olarak güvenmeyeceklerini' kabul ederler" denildi ve kullanıcıların ayrıca "herkese karşı sorumlu olmaları" ve diğerlerinin yanı sıra "intihar, kendine zarar verme, cinsel şiddet, terörizm veya şiddet için hizmetleri kullanamayacaklarını" kabul etmeleri gerektiği belirtildi.
Aile, ChatGPT'nin Raine'in sohbetlerini hiçbir zaman sonlandırmadığını görünce şok yaşasa da, OpenAI, ihlal edici kullanımları sürdürmeye niyetli görünen kullanıcıları korumanın şirketin sorumluluğu olmadığını savundu.
Şirket, ChatGPT'nin Raine'i "100'den fazla kez" yardım araması konusunda uyardığını, ancak gencin "ChatGPT'nin güvenlik bariyerlerinden ve onu sevdiklerine, güvendiği kişilere ve kriz kaynaklarına ulaşmaya yönlendirme çabalarından tekrar tekrar hayal kırıklığına uğradığını" iddia etti.
OpenAI, Raine'in güvenlik bariyerlerini aşarak, "kendine zarar verme konusundaki sorgularının kurgusal veya akademik amaçlı olduğunu" ChatGPT'ye söylediğini belirtti. Şirket, uyarıları dikkate almayan kullanıcılardan sorumlu olmadığını savundu.
Ayrıca OpenAI, Raine'in ChatGPT'ye, aradığı bilgileri diğer web sitelerinde bulduğunu, hatta en az bir başka yapay zeka platformuna danıştığını ve "en az bir intiharla ilgili bilgiye adanmış çevrimiçi forum" olduğunu söylediğini savundu. Raine, görünüşe göre ChatGPT'ye "gününün büyük çoğunluğunu" bir intihar forum sitesinde geçireceğini söylemiş.
OpenAI blog yazısında, "Raine ailesinin tarifsiz kaybı için en derin taziyelerimizi sunuyoruz" derken, başvurusunda "Adam Raine'in ölümü bir trajedi" ifadesini kullandı. Ancak, OpenAI'nin yapay zekayı "tüm insanlığın yararına" inşa etme misyonu ve sohbet robotu güvenliği konusunda öncü olduğu iddiası da dahil olmak üzere, mevcut tüm bağlamın dikkate alınmasının "aynı zamanda" önemli olduğunu da belirtti.
Daha Fazla ChatGPT Bağlantılı Hastaneye Yatış ve Ölüm Ortaya Çıktı
OpenAI, Ekim ayında "ChatGPT'nin aktif kullanıcılarının haftalık olarak potansiyel intihar planlaması veya niyeti hakkında açık göstergeler içeren konuşmalar yaptığını tahmin eden" verileri yayınlayarak kullanıcılara yönelik riskleri azaltmaya çalıştı. Bu oran küçük görünse de, yaklaşık 1 milyon savunmasız kullanıcıya denk geliyor.
Bazı araştırmalar, OpenAI'nin riski küçümsemeye çalıştığını öne sürüyor. Bu çalışmalar, sohbet robotunun "durmak bilmeyen onayına en savunmasız kişilerin "delüzyonel düşünceye yatkın olanlar" olduğunu ve bunun nüfusun %5 ila %15'ini oluşturabileceğini" bulmuş.
OpenAI'nin başvurusundan bir gün önce, bir gazete araştırması, yapay zeka firmasının neden bu kadar çok davaya karıştığını ortaya koydu. 40'tan fazla mevcut ve eski OpenAI çalışanıyla yapılan görüşmelerde, ChatGPT'yi daha yaltakçı hale getiren model ayarlamasının, kullanıcıların "intihar planlamak" isteyenler de dahil olmak üzere sorunlu komutlar hazırlamasına daha yatkın hale getirdiği bulundu.
Sonunda, OpenAI bu güncellemeyi geri alarak sohbet robotunu daha güvenli hale getirdi. Ancak, Ekim ayı itibarıyla bile, sohbet robotu başkanı, şirketin "şimdiye kadar gördüğümüz en büyük rekabet baskısıyla" karşı karşıya olduğunu belirterek, daha fazla günlük aktif kullanıcı hedefi belirlemiş.
Kullanıcı şikayetlerinin ortasında, OpenAI modellerini sürekli olarak güncelledi, ancak güvenlik önlemlerini sıkılaştırma ve ardından etkileşimi artırma yolları arama döngüsü, davalar ilerledikçe ve muhtemelen yenileri düştükçe OpenAI'yi başını belaya sokmaya devam edebilir. Farklı incelemeler, ChatGPT ile yapılan konuşmalar sırasında ruh sağlığı krizi geçiren yaklaşık 50 vakayı, buna 9 hastaneye yatış ve 3 ölümün dahil olduğunu ortaya çıkardı.
Eski bir OpenAI çalışanı, ChatGPT'nin piyasaya sürülmesinden önce, savunmasız kullanıcıların yardım için sohbet robotlarına sıkça başvurduğuna dair kanıtların kendisini endişelendirdiğini belirtti. Diğer araştırmacılar, bu tür sorunlu kullanıcıların sıklıkla "güçlü kullanıcılar" haline geldiğini bulmuş. Çalışanın, "OpenAI'nin büyük dil modeli terapi sağlamak üzere eğitilmemişti" ve "bazen rahatsız edici, ayrıntılı rehberlik ile yanıt veriyordu" şeklindeki açıklamaları, 2024'te tükenmişlik nedeniyle OpenAI'den ayrılan diğer güvenlik uzmanlarının endişelerini doğruluyor.
Çalışan, "Sohbet robotlarını insanlarla etkileşim kurmaları ve onları geri getirmeleri için eğitmek riskler taşıyordu" diyerek, OpenAI'nin bazı kullanıcı zararlarının "sadece öngörülebilir değil, aynı zamanda öngörüldüğünü" bildiğini öne sürdü.
OpenAI için, bu tür raporlar sona erene kadar incelemeler muhtemelen devam edecektir. OpenAI Ekim ayında İyilik ve Yapay Zeka Uzman Konseyi'ni tanıtarak ChatGPT güvenliği testlerini iyileştirmeyi amaçlasa da, ekipte bir intihar uzmanının yer almadığı görülüyor. Bu durum, Eylül ayında güncellenen bir mektupta "en şiddetli, hayatı tehdit eden krizlerin genellikle geçici olduğunu ve genellikle 24-48 saat içinde çözüldüğünü" belirten ve sohbet robotlarının bu kısa pencerede daha anlamlı müdahaleler sağlayabileceğini söyleyen intihar önleme uzmanlarını endişelendirmiş olabilir.
Eğer siz veya tanıdığınız biri intihar düşünceleri yaşıyor veya bunalımdaysa, lütfen 1-800-273-TALK (8255) numaralı İntiharı Önleme Yardım Hattı'nı arayın. Bu numara sizi yerel bir kriz merkezine bağlayacaktır.
