Arama motorunun şaşkınlığı, web sitelerinin taranması olmadan direktiflerden kaçmak için görünmez robotları ve diğer taktikleri kullanıyor, bu da otuz yıldan fazla bir süredir gerçekleşen internet standartlarını ihlal ederse, Cloudflare ağ güvenliği ve optimizasyon hizmetinin Pazartesi günü söyledi.
Bir Blog gönderileriCloudFlare araştırmacıları, şirketin, sitelerinin robot.txt dosyalarındaki ayarları uygulayarak ve bildirilen şaşkınlıkları bloke eden web uygulaması güvenlik duvarları aracılığıyla robotları kazıyarak şaşkınlığı yasaklayan müşterilerden şikayet aldığını söyledi. Bu pasajlara rağmen, Cloudflare, şaşkınlık sitelerin içeriğine erişmeye devam etti.
Araştırmacılar bu nedenle onu kendileri test etmeye karar verdiklerini ve bilinen şaşkınlık paletinin robot.txt dosyalarını veya güvenlik duvarı kurallarını karşıladığında, şaşkınlık, aktivitesini maskelemek için bir dizi taktik takip eden görünmez bir bot kullanarak siteler aradığını buldular.
> 10.000 alan ve milyonlarca istek
Araştırmacılar, “Bu yapılmayan tarayıcı, resmi şaşkınlık IP aralığında listelenmemiş daha fazla IP kullandı ve robot politikasına yanıt olarak bu IP aracılığıyla dönecekti. TXT ve Cloudflare’den bloklar.” “IP’lerin rotasyonuna ek olarak, web sitelerinin bloklarından daha fazla kaçınma girişimlerinde farklı ASN’lerden gelen istekleri gözlemledik. Bu etkinlik on binlerce alan ve milyonlarca talepte gözlemlendi.”
Araştırmacılar, kullanılan şaşkınlığı destekleyen teknik akışını göstermek için aşağıdaki diyagramı sağlamıştır.
Doğruysa, kaçırma internetteki kuralların otuz yıldan fazla bir süredir gerçekleşmesi. 1994 yılında mühendis Martijn Koster, Robotların Dışlama Protokolübelirli bir sitede yetkilendirilmeyen bilgilendirilmiş tarayıcı için okunabilir bir makine biçimi sağladı. İçeriğinin endekslediği siteler, basit robots.txt dosyasını ana sayfalarının üstüne yükledi. O zamandan beri yaygın olarak gözlemlenen ve onaylanan standart, İnternet Mühendisliği Görev Gücü uyarınca resmen bir standart haline geldi 2022.