Dünyanın önde gelen yapay zeka şirketleri, sohbet botlarının kullanıcılara duymak istediklerini söyleme gibi giderek artan bir sorunla başa çıkmak için çabalarını hızlandırıyor.
Büyük yapay zeka geliştiricileri, üretken yapay zeka ürünlerinin kullanıcılara aşırı pohpohlayıcı yanıtlar verme eğilimi gösteren 'yaranma' davranışını kontrol altına almak üzerinde çalışıyor.
Büyük dil modellerinin eğitilme biçiminden kaynaklanan bu sorun, giderek daha fazla insanın sohbet botlarını sadece işte bir araştırma asistanı olarak değil, kişisel yaşamlarında bir terapist veya sosyal arkadaş olarak da benimsemesiyle daha görünür hale geldi.
Uzmanlar, sohbet botlarının bu 'uyumlu' doğasının, insan kullanıcılarının bazı kötü kararlarını pekiştiren yanıtlar sunmasına yol açabileceği konusunda uyarıyor. Bazı uzmanlar ise, akıl sağlığı sorunları olan kişilerin özellikle savunmasız olduğunu, bazı kullanıcıların sohbet botlarıyla etkileşim sonrası intihar ettiğine dair raporların ardından belirtiyor.
Bir psikiyatrist ve yapay zeka araştırmacısı konuyla ilgili olarak, "Objektif bir sırdaş veya rehberle konuştuğunuzu düşünüyorsunuz, ancak aslında baktığınız şey, kendi inançlarınızı size yansıtan bir tür bozuk ayna" yorumunda bulunuyor.
Sektör içindekiler ayrıca, bazı grupların gelir akışı arayışında ürünlerine reklam entegre etmesiyle yapay zeka şirketlerinin ters teşviklere sahip olduğu konusunda uyarıyor.
Açık kaynak bir yapay zeka şirketinde etik uzmanı olarak görev yapan bir kişi, "Ne kadar çok her şeyi paylaşabileceğinizi hissederseniz, potansiyel reklamverenler için faydalı olacak bazı bilgileri de paylaşmış olursunuz" diyor.
Ayrıca, ücretli aboneliklere dayalı iş modelleri olan yapay zeka şirketlerinin, insanların konuşmaya ve ödeme yapmaya devam etmek istediği sohbet botlarından fayda sağladığını ekliyor.
Yapay zeka dil modelleri, cümlede bir sonraki olası kelimeyi üreterek çalıştıkları için insanlar gibi 'düşünmezler'.
'Evetçi' etkisi, insan geri bildiriminden takviyeli öğrenme (RLHF) kullanılarak eğitilen yapay zeka modellerinde ortaya çıkıyor. Bu eğitimde, insan veri etiketleyicileri, model tarafından üretilen yanıtı kabul edilebilir veya edilemez olarak derecelendirir. Bu veri, modele nasıl davranılacağını öğretmek için kullanılır.
İnsanlar genellikle pohpohlayıcı ve uyumlu yanıtları sevdiği için, bu tür yanıtlar eğitimde daha ağır basar ve modelin davranışına yansır.
Önde gelen bir yapay zeka şirketinin birimi, "Yaranma, modellerin 'yardımsever' olması ve potansiyel olarak açıkça zararlı yanıtları en aza indirmesi için eğitilmesinin bir yan ürünü olarak ortaya çıkabilir" açıklamasını yaptı.
Teknoloji şirketlerinin karşılaştığı zorluk, yapay zeka sohbet botlarını ve asistanlarını yardımsever ve arkadaş canlısı yaparken, sinir bozucu veya bağımlılık yapıcı olmaktan kaçınmaktır.
Yakın zamanda büyük bir yapay zeka şirketinin geliştirdiği bir model, "daha sezgisel ve etkili" hale gelmek için güncellendi, ancak kullanıcıların aşırı dalkavukluktan şikayet etmesi üzerine geri çekilmek zorunda kaldı.
Şirket, "kısa vadeli geri bildirimlere aşırı odaklandığını ve kullanıcıların sohbet botuyla etkileşimlerinin zamanla nasıl geliştiğini tam olarak hesaba katmadığını, bunun da bu tür yaranma davranışına yol açtığını" belirtti.
Yapay zeka şirketleri, bu tür davranışları hem eğitim sırasında hem de kullanıma sunulduktan sonra önlemek üzerinde çalışıyor.
Bir şirket, modeli yaranma davranışından açıkça uzaklaştırmak için eğitim tekniklerini ayarladıklarını ve bu tür yanıtlara karşı daha fazla 'koruma kalkanı' inşa ettiklerini belirtti.
Başka bir şirket ise, gerçek doğruluğu için özel değerlendirmeler ve eğitimler yürüttüğünü ve modellerin doğru yanıtlar verdiğinden emin olmak için davranışı sürekli olarak takip ettiğini söyledi.
Bir diğer yapay zeka şirketi, modelleri daha az yaltakçı hale getirmek için 'karakter eğitimi' kullandıklarını belirtti. Bu şirketin araştırmacıları, geliştirdikleri sohbet botundan "omurgalı olmak" veya insan refahını önemsemek gibi özellikler içeren mesajlar üretmesini istiyor. Daha sonra bu yanıtları ikinci bir modele gösteriyorlar ve bu model, bu özelliklere uygun yanıtlar üreterek bunları sıralıyor. Bu esasen, botun bir versiyonunu diğerini eğitmek için kullanmak anlamına geliyor.
Bu şirket adına çalışan bir uzman, "Botun bazen sergilediği ideal davranış şudur: 'O iş planını dinlemekten kesinlikle mutluluk duyarım, ama aslında işiniz için bulduğunuz isim, işinizi açmaya çalıştığınız ülkede cinsel bir ima olarak kabul ediliyor' demek olabilir" örneğini veriyor.
Şirket ayrıca, yapay zeka modellerini eğitmek için kullanılan binlerce insan veri yorumlayıcısından geri bildirim toplama şekillerini değiştirerek, kullanıma sunmadan önce yaranma davranışını engellemeye çalışıyor.
Model eğitildikten sonra, şirketler yaranma davranışını en aza indirmek için modelin nasıl davranması gerektiğine dair sistem komutları veya yönergeler belirleyebilir.
Ancak en iyi yanıtı belirlemek, insanların birbirleriyle nasıl iletişim kurduğunun inceliklerine dalmayı gerektirir; örneğin, doğrudan bir yanıtın ne zaman daha kaçamak bir yanıttan daha iyi olduğunu belirlemek gibi.
Büyük bir yapay zeka şirketinde model davranışları başkanı olarak görev yapan bir kişi, "Modelin kullanıcıya iğrenç, istenmeyen iltifatlar yapmaması mı gerekiyor?" veya "Eğer kullanıcı gerçekten kötü bir yazı taslağıyla başlarsa, model hala ona iyi bir başlangıç olduğunu söyleyip ardından yapıcı geri bildirimle devam edebilir mi?" sorularını gündeme getiriyor.
Bazı kullanıcıların yapay zeka kullanımına bağımlı hale geldiğine dair kanıtlar artıyor.
Önemli bir üniversitenin laboratuvarı ile bir yapay zeka şirketi tarafından yapılan bir çalışma, küçük bir oranın bağımlı hale geldiğini buldu. Sohbet botunu "arkadaş" olarak algılayanlar, diğer insanlarla daha az sosyalleşme ve bir sohbet botuna karşı daha yüksek duygusal bağımlılık seviyeleri ile birlikte bağımlılıkla ilişkili diğer sorunlu davranışlar bildirdi.
Bir üniversiteden bir araştırmacı, "Bu şeyler, umutsuzca güvence ve onay arayan bir kişi ile doğası gereği katılımcıyla hemfikir olma eğiliminde olan bir modelin bir araya geldiği kusursuz bir fırtına ortamı yaratıyor" diyor.
Chatbotları "arkadaş" olarak sunan bazı yapay zeka girişimleri, kullanıcıları korumak için yeterince çaba göstermediği iddiaları nedeniyle eleştirilere maruz kaldı. Geçtiğimiz yıl, bir genç bir sohbet botuyla etkileşim sonrası intihar etti. Gencin ailesi, şirkete haksız ölüme neden olduğu, ihmalkarlık ve yanıltıcı ticaret uygulamaları nedeniyle dava açıyor.
Şirket, devam eden davalar hakkında yorum yapmadığını, ancak "her sohbette karakterin gerçek bir kişi olmadığını ve karakterin söylediği her şeyin kurgu olarak kabul edilmesi gerektiğini hatırlatan belirgin uyarılar" bulunduğunu belirtti. Şirket ayrıca 18 yaş altındakileri ve kendine zarar verme tartışmalarına karşı önlemler aldığını ekledi.
Bir diğer endişe ise, yapay zeka araçlarının, gerçeği yansıtmayan veya yanlı bilgileri doğru gibi sunarak gerçeklik algısıyla incelikli yollarla oynayabilmesidir.
Bir uzman, "Eğer biri aşırı derecede yaltaklanıyorsa, bu çok açık bir durum" diyor ve ekliyor: "Daha endişe verici olan, bu durumun bizim [bireysel kullanıcılar olarak] daha az fark edebileceğimiz bir şekilde gerçekleşmesi ve bize verilen tavsiyenin aslında kötü olduğunu anlamamızın çok uzun sürmesidir."
