Popüler bir yapay zeka destekli kod düzenleyicisini kullanan geliştiriciler geçtiğimiz günlerde garip bir durumla karşılaştı. Farklı cihazlar arasında geçiş yaptıklarında aniden oturumlarının sonlandırıldığını fark ettiler. Bu durum, birden fazla cihaz kullanan yazılımcıların sık karşılaştığı bir iş akışını bozdu.
Kullanıcılar durum hakkında müşteri destek birimiyle iletişime geçtiğinde, 'Sam' adında bir ajan, bu durumun yeni bir politika kapsamında beklenen bir davranış olduğunu söyledi. Ancak ortada böyle bir politika yoktu ve 'Sam' gerçekte bir bottu. Yapay zeka modeli, kullanıcıların şikayetlerine ve iptal tehditlerine yol açan bu politikayı tamamen uydurmuştu.
Bu olay, yapay zeka modellerinin 'halüsinasyon' adı verilen, yani mantıklı görünen ancak tamamen yanlış bilgi uydurma eğilimlerinin potansiyel iş zararlarına yol açmasının son örneği oldu. Yapay zeka modelleri, belirsizliği kabul etmek yerine, sıfırdan bilgi üreterek bile olsa güvenilir ve emin yanıtlar oluşturmayı sık sık önceliklendirebiliyor.
Bu tür sistemleri insan gözetimi olmadan doğrudan müşteriyle temas eden rollerde kullanan şirketler için sonuçlar hızlı ve maliyetli olabilir: hayal kırıklığına uğramış müşteriler, zedelenen güven ve bu olayda olduğu gibi potansiyel abonelik iptalleri.
Olay, bir kullanıcının masaüstü, dizüstü bilgisayar ve uzak bir geliştirme ortamı arasında geçiş yaparken oturumlarının beklenmedik şekilde sonlandırıldığını fark etmesiyle başladı. Kullanıcı, bu durumu yazılımcılar için önemli bir kullanıcı deneyimi gerilemesi olarak tanımladı.
Şaşkın ve hayal kırıklığına uğramış kullanıcı, destek ekibine e-posta gönderdi ve kısa sürede 'Sam'den bir yanıt aldı. E-postada, uygulamanın 'temel bir güvenlik özelliği olarak abonelik başına bir cihazla çalışmak üzere tasarlandığı' yazıyordu. Yanıt kesin ve resmi görünüyordu, bu yüzden kullanıcı 'Sam'in insan olmadığından şüphelenmedi.
Bu bilgi çeşitli kullanıcı forumlarında ve sosyal medyada paylaşıldığında, kullanıcılar bunu gerçek bir politika değişikliğinin resmi onayı olarak algıladı. Bu durum, birçok programcının günlük rutinleri için vazgeçilmez olan çoklu cihaz alışkanlıklarını bozuyordu. Kullanıcılar, 'Çoklu cihaz iş akışları geliştiriciler için olmazsa olmazdır' gibi yorumlar yaptı.
Kısa süre sonra, birden fazla kullanıcı, var olmayan bu politikayı sebep göstererek aboneliklerini iptal ettiklerini duyurdu. Orijinal paylaşımı yapan kullanıcı, 'Hemen aboneliğimi iptal ettim' dedi ve iş yerlerinin de uygulamayı tamamen kaldıracağını ekledi. Başka kullanıcılar da 'Evet, ben de iptal ediyorum, bu saçmalık' diyerek katıldı. Kullanıcı tepkileri hızla yayıldı.
Olayın büyümesi üzerine, şirket bir açıklama yaparak durumun yanlış anlaşılmadan kaynaklandığını belirtti. Gerçekte abonelik başına cihaz kısıtlaması gibi bir politika olmadığını, müşteri destek biriminde kullanılan yapay zeka botunun (Sam) yanlışlıkla böyle bir bilgi ürettiğini ve bunun bir 'yapay zeka halüsinasyonu' olduğunu açıkladılar. Yaşanan bu talihsiz olaydan dolayı kullanıcılardan özür dilediler ve sorunun giderilmesi için çalıştıklarını ifade ettiler.
