İçeriğe geç
SEO Rapor
TR
Siteler ve tarama › Tarama botu

Tarama botu

Bot kimliği ve robots.txt ile engelleme.

Sitenin erişim kayıtlarında tarama botumuzu görüyorsan bu sayfa ne yaptığını ve istersen nasıl engelleyeceğini anlatır. Herkese açık bilgi sayfası: /tr/bot.

#Bot ne yapar, ne yapmaz?

  • Yalnız herkese açık sayfaları okur (GET; görsel boyutu için HEAD). Giriş yapmaz, form göndermez, hiçbir şeyi değiştirmez.
  • Saniyede 2–5 istek gönderir; sahipliği doğrulanmamış sitelerde üye taramaları en düşük hızda çalışır (yönetici taramalarımız üst hızda çalışabilir).
  • robots.txt kurallarına uyar.
  • Aynı alan adı için aynı anda yalnız bir tarama yürütür ve günlük tarama sayısını sınırlar.
  • Taranan sayfaların içeriğini yayımlamaz; sonuçlar taramayı başlatan üyenin raporunda görünür, yetkili personelimiz de destek ve kalite kontrolü için görebilir.

#Kimliği

Bot, isteklerde şu User-Agent değeriyle kendini tanıtır:

User-Agent
AlatliSEO/0.1 (+https://alatli.dev)

#robots.txt ile engelleme

Sitenin robots.txt dosyasına şu satırları eklemen yeterli:

robots.txt
User-agent: AlatliSEO
Disallow: /

Yalnız bazı bölümleri kapatmak için yol belirt:

robots.txt (kısmi)
User-agent: AlatliSEO
Disallow: /ozel/

#Erişim kayıtlarında tanıma

Bot isteği, sunucu günlüğünde User-Agent alanında AlatliSEO adıyla görünür. Tipik bir satır şöyledir (adres ve saat örnektir):

Erişim günlüğü (örnek)
203.0.113.7 - - [18/Oct/2026:14:05:11 +0000] "GET /hizmetler HTTP/1.1" 200 18342 "-" "AlatliSEO/0.1 (+https://alatli.dev)"

#Engelleme hakkında sık sorulanlar

Diğer botlar etkilenir mi? Hayır. Kural yalnız AlatliSEO adını kapsar; Googlebot gibi arama motoru botları aynı dosyadaki kendi kurallarına göre çalışmaya devam eder.

Engellemek yerine yavaşlatabilir miyim? Evet. robots.txt içinde Crawl-delay varsa istekler en az o aralıkla gönderilir.

Kuralın yürürlükte olduğunu nasıl anlarım? Dosyayı kaydettikten sonra https://ornek.com/robots.txt adresini tarayıcıda aç ve User-agent: AlatliSEO satırını gör. Tarama her başlarken bu dosyayı yeniden okur.

#Alan adını listeden çıkarma

Alan adının taranmasını istemiyorsan bot sayfasındaki iletişim adresine alan adını yazarak ulaş. Alan adı engel listesine alınır; sonrasında üyeler o alan adı için tarama başlatamaz (engel yönetici hesaplarımızı kapsamaz).