Yapay zeka destekli arama motoru Perplexity'nin, web sitelerinin erişimini kısıtlama (no-crawl) talimatlarını atlatmak için gizli botlar ve çeşitli taktikler kullandığı iddia ediliyor. Ağ güvenliği ve optimizasyon hizmeti Cloudflare tarafından Pazartesi günü yapılan açıklamada, bu durumun doğru olması halinde otuz yılı aşkın süredir devam eden internet normlarını ihlal ettiği belirtildi.
Cloudflare araştırmacıları tarafından yapılan bir blog yazısında, müşterilerinden Perplexity'nin kendi sitelerini kazımasını (scraping) engellemek için robots.txt dosyalarında ve web uygulama güvenlik duvarlarında (WAF) ayarlamalar yapmalarına rağmen Perplexity'nin sitelerin içeriğine erişmeye devam ettiğine dair şikayetler aldıklarını bildirdi. Yapılan engellemelere ve Perplexity'nin bildirilmiş tarayıcılarını (crawler) engelleme çabalarına rağmen bu durumun sürdüğü ifade edildi.
Araştırmacılar, bu iddiaları test etmek amacıyla yaptıkları incelemelerde, bilinen Perplexity tarayıcıları robots.txt dosyalarından veya güvenlik duvarı kurallarından engelleme ile karşılaştığında, Perplexity'nin faaliyetlerini gizlemek için çeşitli taktikler kullanan gizli bir bot ile siteleri taradığını tespit ettiklerini aktardı.
10.000'den Fazla Alan Adı ve Milyonlarca İstek
Araştırmacılar, "Bu bildirilmemiş tarayıcı, Perplexity'nin resmi IP aralığında listelenmeyen birden fazla IP adresi kullandı ve kısıtlayıcı robots.txt politikasına ve Cloudflare'den gelen engellemeye yanıt olarak bu IP'leri değiştirdi." ifadelerini kullandı. "IP'leri değiştirmesinin yanı sıra, web sitesi engellemelerinden daha fazla kaçınmak amacıyla farklı Otonom Sistem Numaralarından (ASN) gelen istekleri de gözlemledik. Bu aktivite, on binlerce alan adında ve günde milyonlarca istekte görüldü."
Araştırmacılar, Perplexity'nin iddia edilen bu gizli tarama tekniğini açıklayan bir diyagram da paylaştı.
Bu iddiaların doğrulanması durumunda, bu durum otuz yılı aşkın süredir var olan internet normlarının ihlali anlamına geliyor. 1994 yılında mühendis Martijn Koster tarafından önerilen Robots Exclusion Protocol, tarayıcılara belirli bir sitede izinleri olmadığını bildiren makine tarafından okunabilir bir format sundu. İçeriklerinin indekslenmesini isteyen siteler, ana sayfalarının en başına basit bir robots.txt dosyası yerleştirdi. O zamandan beri yaygın olarak uygulanan ve desteklenen bu standart, 2022 yılında İnternet Mühendisliği Görev Gücü (IETF) altında resmi bir standart haline geldi.
Cloudflare, Perplexity'nin bu normun ruhunu, eğer metnini değilse bile ihlal ettiğini söyleyen ilk kuruluş değil. Geçen yıl, Reddit CEO'su Perplexity ve Microsoft ile Anthropic'ten gelen iki yapay zeka motorunu engellemenin "çok başa bela" olduğunu belirtmişti. CEO, bu şirketlerin internetteki tüm içeriğin kullanımları için ücretsiz olduğunu düşünme eğiliminde olduklarını ifade etmişti.
Perplexity, daha önce de birçok yayıncı tarafından içeriklerinin intihal edildiği yönünde suçlamalarla karşılaştı. Örneğin, Forbes dergisi Perplexity'yi, bir gün önce yayınladığı makaleyle "son derece benzer" bir gönderi yayınlaması üzerine "kurnazca hırsızlık" ile suçladı. Perplexity'nin, web sitesi engellemelerini aşmak için tarayıcılarının kimlik bilgilerini (ID string) değiştirdiği de tespit edilmişti.
Cloudflare araştırmacıları, bulgularına karşılık olarak, hizmetlerini kullanan sitelere erişimi önlemek için adımlar attıklarını belirtti. Araştırmacılar, "Tarayıcıların şeffaf olması, açık bir amaç gütmesi, belirli bir faaliyeti gerçekleştirmesi ve en önemlisi web sitelerinin direktiflerine ve tercihlerine uyması gerektiği yönünde net tercihler vardır" dedi. "Perplexity'nin gözlemlenen ve bu tercihlerle uyumsuz olan davranışlarına dayanarak, onları doğrulanmış botlar listesinden çıkardık ve bu gizli taramayı engelleyen yönetilen kurallarımıza eklemeler yaptık."
Perplexity temsilcileri ise iddiaların doğru olup olmadığına dair gelen bir e-postaya yanıt vermedi.
