Yapay zekanın hızla benimsenmesiyle birlikte, çeşitli alanlarda verimliliği artırmak ve zamandan tasarruf etmek için teknolojiyi uygulama yolları giderek daha fazla aranıyor. Süreçleri daha sorunsuz hale getirmek için yapay zeka asistanlarının yaygın bir kullanımını görüyoruz. İlaç ve tıbbi cihaz onay süreçlerini iyileştirmeyi hedefleyen bir adım olarak tanıtılan FDA'nın üretken yapay zeka aracı Elsa'nın, umduğumuz kadar sorunsuz olmadığı anlaşılıyor. Şirketin eski ve mevcut çalışanlarından gelen raporlar, aracın halüsinasyon gördüğü ve gerçek araştırmaları sıklıkla yanlış temsil ettiği yönünde.
Sağlık ve düzenleyici teknolojiler de tıpkı tüm dünyanın evrimleşmesi gibi, süreçleri kolaylaştırmaya yardımcı olmak için üretken yapay zekayı benimsemeye eğilimli. ABD Gıda ve İlaç Dairesi, ilaç ve cihaz onaylarını daha sorunsuz hale getirmek, darboğazları ve bürokratik gecikmeleri azaltmak ve idari iş yüklerini azaltarak genel verimliliği artırmak için tasarlanmış bir araç olan Elsa'yı tanıttı. Ancak, teknolojik bir sıçrama olması beklenen bu durum, teknolojiye aşırı bağımlılık ve insan ihmali ile ilgili soruları gündeme getirerek derin endişelere yol açtı.
Hayat kurtaran tedavilerin ne kadar verimli bir şekilde gözden geçirilebileceği düşünüldüğünde her şey kağıt üzerinde devrimci görünse de, FDA'daki iç personel aracın gerçek detaylarını ortaya koydu. Elde edilen bilgilere göre, birçok eski ve mevcut çalışan, üretken yapay zeka aracının halüsinasyon görmesi, yanlış özetler üretmesi ve hatta bu makalelere referansların dahi olmaması nedeniyle tamamen klinik çalışmalar uydurması hakkında endişelerini dile getirdi. En az üç çalışan, aracın bu rahatsız edici eğilimini ve gerçek araştırma bulgularını çarpıtmaya kadar gidebildiğini açıkladı. Bu durum, asistanın asıl amacının zaman kazanmak ve yapılan işi denetlemek veya iki kez kontrol etmek olmaması nedeniyle özellikle endişe verici.
FDA liderliği, Elsa ile ilgili sorun kendilerine iletildiğinde fazla bir aciliyet göstermedi. Ayrıca, personelin Elsa'yı kullanmasının zorunlu olmadığını ve aracın uygulanmasının tamamen gönüllü olduğunu belirtmekte hızlı davrandılar. Personelin istemediği sürece eğitim oturumlarına katılması gerekmiyor. Bu durum, aracın düzgün ve güvenli bir şekilde kullanıldığından emin olmak için herhangi bir sistemin bulunmadığı anlamına geliyor.
Yapay zeka halüsinasyonları nadir görülen olaylar olmasa ve bu tür hatalar bazen bazı güncellemeler veya değişiklikler nedeniyle meydana gelebilse de, yüksek riskli ortamlarda kullanılıyorsa, uygun güvenlik önlemlerinin alınması gerekir. Sorun, yapay zeka aracında bazı kusurların ortaya çıkması değil, özellikle küçük hataların insanların sağlığı üzerinde ciddi sonuçları olabileceği bir alanda, yeterli insan denetimi olmadan kullanılmasıdır.
