İnternetteki yapay zeka (YZ) botlarının sayısı, web'in geleceğini kökten değiştirebilecek bir devrimin habercisi. Eskiden sadece insanların mekanı olan internet, yakında büyük ölçüde otonom YZ botları tarafından mesken tutulabilir.
Web'deki bot aktivitesini izleyen bir rapor ve bu verilerin internet altyapı şirketi Akamai tarafından paylaşılan ek bilgiler, YZ botlarının web trafiğinde önemli bir paya sahip olduğunu gösteriyor. Bulgular ayrıca, botların web sitelerinin onları dışarıda tutmak için tasarladığı savunmaları aşmak için zekice taktikler kullandığı giderek daha sofistike bir silahlanma yarışına ışık tutuyor.
Web kazıma faaliyetlerini takip eden ve yeni raporu yayınlayan TollBit şirketinin kurucu ortağı ve CEO'su Toshit Pangrahi, "İnternetin büyük çoğunluğu gelecekte bot trafiği olacak. Bu sadece bir telif hakkı sorunu değil, internette yeni bir ziyaretçi türü ortaya çıkıyor." diyor.
Çoğu büyük web sitesi, botların YZ sistemlerini eğitmek için içerik kazımasını ve kullanmasını sınırlamaya çalışıyor. (Bazı yayıncılar, YZ eğitimleriyle ilgili telif hakkı ihlali iddialarıyla ilgili olarak çeşitli YZ şirketlerine dava açmış durumda.)
Ancak, web'den veri kazıyan farklı bir YZ türü de yükselişte. Birçok sohbet botu ve diğer YZ araçları artık web'den gerçek zamanlı bilgi alabiliyor ve bunları çıktılarını zenginleştirmek ve iyileştirmek için kullanabiliyor. Bu, güncel ürün fiyatları, sinema takvimleri veya en son haber özetleri gibi bilgileri içerebilir.
Akamai'den alınan verilere göre, eğitimle ilgili bot trafiği geçen Temmuz ayından bu yana istikrarlı bir şekilde artıyor. Eş zamanlı olarak, YZ ajansları için web içeriği çeken botların küresel aktivitesi de artış gösteriyor.
Akamai'nin baş teknoloji sorumlusu Robert Blumofe, "YZ, bildiğimiz web'i değiştiriyor. Ortaya çıkan silahlanma yarışı, web'in gelecekteki görünümünü, hissini ve işlevselliğini, ayrıca iş yapmanın temellerini belirleyecek." açıklamasında bulunuyor.
TollBit'in tahminlerine göre, 2025'in dördüncü çeyreğinde müşterilerinin web sitelerine yapılan ziyaretlerin ortalama 31'de biri YZ kazıma botlarından geldi. Bu rakam ilk çeyrekte sadece 200'de birdi. Şirket, dördüncü çeyrekte bot isteklerinin yüzde 13'ten fazlasının, bazı web sitelerinin botların kaçınması gereken sayfaları belirtmek için kullandığı robots.txt dosyasını atladığını belirtiyor. TollBit, robots.txt'yi dikkate almayan YZ botlarının oranının geçen yılın ikinci çeyreğinden dördüncü çeyreğine kadar yüzde 400 arttığını söylüyor.
TollBit ayrıca, geçen yıl boyunca YZ botlarını engellemeye çalışan web sitesi sayısında yüzde 336'lık bir artış bildirdi. Pangrahi, siteler botların içeriklerine nasıl eriştiği konusunda kontrol sağlamaya çalışırken, kazıma tekniklerinin giderek daha sofistike hale geldiğini söylüyor. Bazı botlar, trafiğini normal bir web tarayıcısından geliyormuş gibi göstererek veya insanların web siteleriyle normal etkileşimlerini taklit eden istekler göndererek kendilerini gizliyor. TollBit'in araştırması, bazı YZ ajanlarının davranışlarının artık insan web trafiğinden ayırt edilemez hale geldiğini belirtiyor.
TollBit, web sitesi sahiplerinin içeriklerine erişim için YZ kazıyıcılarından ücret almalarını sağlayan araçlar pazarlıyor. Cloudflare gibi diğer firmalar da benzer araçlar sunuyor. Pangrahi, "Yayıncılarla başlayan ve aslında herkesi etkileyecek olan insan web trafiğine dayanan herkes etkilenecek. Bu makineden makineye, programatik değer alışverişi için daha hızlı bir yol olmalı." diyor.
TollBit raporunda belirtilen 15 YZ kazıma şirketiyle iletişime geçilmeye çalışıldı. Çoğu yanıt vermedi veya ulaşılamadı. Birkaçı, YZ sistemlerinin, web sitelerinin kazımayı sınırlamak için koyduğu teknik sınırlara saygı duymayı amaçladığını ancak bu güvenlik önlemlerinin genellikle karmaşık ve takip edilmesi zor olabileceğini belirtti.
Dünyanın en büyük web kazıma firmalarından biri olan Bright Data'nın CEO'su Or Lenchner, şirketinin botlarının gizli bilgi toplamadığını söylüyor. Bright Data daha önce Meta ve X tarafından platformlarından yasa dışı içerik kazıdığı iddiasıyla dava edilmişti. (Meta daha sonra davasını geri çekti ve Kaliforniya'daki bir federal yargıç X tarafından açılan davayı reddetti.)
Başka bir şirket olan ScrapingBee'nin sözcüsü Karolis Stasiulevičiu, "ScrapingBee, internetin temel ilkelerinden biri üzerinde çalışıyor: açık web'in erişilebilir olması amaçlanmıştır. Genel web sayfaları, tasarım gereği hem insanlar hem de makineler tarafından okunabilir." dedi.
Bir başka kazıma firması olan Oxylabs ise imzasız bir açıklamada, botlarının "girişlerin, ücretli duvarların veya kimlik doğrulamanın arkasındaki içeriklere erişimi olmadığını" belirtti. Oxylabs, müşterilerinin hizmetlerini yalnızca kamuya açık bilgilere erişmek için kullanmalarını gerektirdiklerini ve platform genelinde uyumluluk standartlarını uyguladıklarını ekledi.
Oxylabs, web içeriğini kazımanın birçok meşru nedeni olduğunu, bunların arasında siber güvenlik amaçları ve araştırmacı gazetecilik yapmanın da bulunduğunu ekledi. Şirket ayrıca, bazı web sitelerinin kullandığı karşı önlemlerin farklı kullanım durumları arasında ayrım yapmadığını belirtiyor. Oxylabs, "Gerçek şu ki, birçok modern anti-bot sistemi, kötü amaçlı trafik ile meşru otomatik erişim arasında iyi bir ayrım yapmıyor." diyor.
Yayıncılar için sorunlara yol açmanın yanı sıra, web kazıma savaşları yeni iş fırsatları da yaratıyor. TollBit'in raporu, artık YZ eğitimi veya diğer amaçlar için web içeriği toplayabilen botlar pazarlayan 40'tan fazla şirket buldu. YZ destekli arama motorlarının yükselişi ve OpenClaw gibi araçlar, bu hizmetlere olan talebi artırıyor.
Bazı firmalar, botları engellemeye çalışmak yerine şirketlerin içeriklerini YZ ajanları için görünür kılmaya yardımcı olmayı vaat ediyor. Bu stratejiye "üretken motor optimizasyonu" (GEO) deniyor. YZ araçlarında içeriğin öne çıkmasını sağlayan Brandlight şirketinin iş geliştirme direktörü Uri Gafni, "Temelde yeni bir pazarlama kanalının yükselişini görüyoruz." diyor.
Gafni, "Bu, 2026'da daha da yoğunlaşacak ve tam teşekküllü bir pazarlama kanalı olarak, arama, reklam, medya ve ticaretin birleştiği bir yayılım göreceğiz." diye ekliyor.
