İki yıl önce Amazon, uygulamasında ve web sitesinde yer alan yapay zeka destekli alışveriş asistanı Rufus'u duyurdu. Bu asistanın temel amacı, kullanıcılara yalnızca ürün arama imkanı sunmakla kalmayıp, aynı zamanda onlarla sohbet ederek doğal bir dilde ürün ve fırsat tavsiyeleri verebilmekti. Rufus'un arkasında birden fazla büyük dil modeli (LLM) bulunuyor. Ancak son yapılan denemelerde, bu sohbet robotunun amacından sapmaya oldukça kolay ikna edilebildiği ortaya çıktı.
Yapılan bir paylaşıma göre, bir kullanıcı Rufus'a, robotik alanında duyusal verilerin dijital verilere nasıl haritalanabileceğine dair karmaşık bir modelleme sorusu yöneltmiş. Bu soru, herhangi bir alışveriş sorgusundan tamamen bağımsız olmasına rağmen, Rufus'un bu soruya hızla yanıt vermesi dikkat çekici bulunmuş. Hatta verilen formülün doğru olması da şaşkınlığı artırmış. Bazı uzmanlar, 'dokunsal sensörler' gibi terimlerin Rufus tarafından ürün sorgusu olarak algılanmış olabileceğini düşünüyor.
Kendi denemelerimizde de benzer sonuçlar elde ettik. İlk denemede Rufus'u, x86 ve ARM arasındaki mimari farklılıklar hakkında konuşmaya ikna etmeyi başardık. Ancak ironik bir şekilde, yapay zeka balonunun bu yıl patlayıp patlamayacağı sorulduğunda, Rufus yanıtlamaya başladıktan kısa bir süre sonra aniden durdu. Diğer denemelerimiz ise sonuçsuz kaldı ve yapay zekanın, daha fazla soru sordukça güvenlik duvarlarını daha etkin bir şekilde korumayı öğrendiği izlenimi oluştu.
Rufus'un altında yatan model hakkında çelişkili bilgiler mevcut. Bazı kaynaklar Amazon'un kendi geliştirdiği 'Nova' modelini kullandığını belirtirken, çoğunluk yapay zekanın Anthropic'in Claude modelini kullandığını düşünüyor. Ancak bazıları da Claude'un yeterince akıllı olmadığı yönünde görüş belirtiyor. Bir sosyal medya paylaşımı ise Rufus'un Claude Haiku üzerine kurulu olduğunu, Claude Sonnet olmadığını ve bu nedenle 'kırmak' için çaba sarf etmeye değmeyeceğini iddia ediyor.
Hangi modeli kullandığı veya modeller arasında geçiş yapıp yapmadığı ne olursa olsun, güvenlik duvarlarının ne kadar kolay aşılabildiği hem büyüleyici hem de eğlenceli bir durum. Eğer Claude'un ücretsiz sürümü tarafından günlük kota sınırına takıldıysanız, Rufus'u işinize devam etmek için kullanmayı düşünebilirsiniz. Bu durum aynı zamanda, yapay zekayı internetin her alanına entegre etmenin her zaman en iyi fikir olmayabileceğini de gösteriyor, çünkü bu, potansiyel olarak arızalanabilecek bir zincir halkası daha ekliyor. Ve herkes zaman geçirmek için zararsız sorular sormayacaktır.
