Tarama botu

Bot kimliği ve robots.txt ile engelleme.

Sitenin erişim kayıtlarında tarama botumuzu görüyorsan bu sayfa ne yaptığını ve istersen nasıl engelleyeceğini anlatır. Herkese açık bilgi sayfası: /bot.

#Bot ne yapar, ne yapmaz?

Yalnız herkese açık sayfaları okur (GET). Giriş yapmaz, form göndermez, hiçbir şeyi değiştirmez.
Saniyede 2–5 istek gönderir; sahipliği doğrulanmamış sitelerde hız en düşük değerdedir.
robots.txt kurallarına uyar.
Aynı alan adı için aynı anda yalnız bir tarama yürütür ve günlük tarama sayısını sınırlar.
Taranan sayfaların içeriğini yayımlamaz; sonuçlar yalnız taramayı başlatan üyenin raporunda görünür.

#Kimliği

Bot, isteklerde şu User-Agent değeriyle kendini tanıtır:

User-Agent

AlatliSEO/0.1 (+https://alatli.dev)

#robots.txt ile engelleme

Sitenin robots.txt dosyasına şu satırları eklemen yeterli:

robots.txt

User-agent: AlatliSEO
Disallow: /

Yalnız bazı bölümleri kapatmak için yol belirt:

robots.txt (kısmi)

User-agent: AlatliSEO
Disallow: /ozel/

#Alan adını listeden çıkarma

Alan adının hiçbir zaman taranmamasını istiyorsan bot sayfasındaki iletişim adresine alan adını yazarak ulaş. Alan adı engel listesine alınır; sonrasında hiçbir üye o alan adı için tarama başlatamaz.