Tarama nasıl çalışır

Nazik tarama, robots.txt, site haritası ve kapsam.

Tarama, siteye nazik davranmak üzere tasarlandı: düşük hız, robots.txt’ye uyum ve tek seferde tek tarama.

#Hız

Doğrulanmamış sitelerde saniyede 2 istek, doğrulanmış sitelerde 5 istek gönderilir. Sitenin robots.txt dosyasında Crawl-delay varsa, istekler en az o kadar aralıkla gönderilir. Site 429 (ya da Retry-After başlıklı 503) dönerse tarayıcı yavaşlar, bekler ve o sayfayı en fazla üç kez dener. Geçici sunucu hatalarında (500, 502, 503, 504; ör. yayın sırasında) sayfa 5 ve 20 saniye beklenip yeniden istenir; yine hata dönerse raporlanır. Bu bekleme tarama başına en çok 20 sayfa için yapılır. Hız sınırına takılan sayfalar raporda “hız sınırına takıldı” olarak işaretlenir; denetlenemediği için puana ve karşılaştırmaya katılmaz.

#robots.txt

Tarama önce /robots.txt dosyasını okur. Botumuz için yasaklanmış adreslere girilmez; bu adresler taranmaz ve kuyruktan düşer. Dosya hatalıysa ya da yoksa buna ilişkin kontroller de raporda görünür.

#Site haritası

Haritalar robots.txt içindeki Sitemap satırlarından okunur; satır yoksa /sitemap.xml denenir. Harita dizinleri izlenir. Sıkıştırılmış (.gz) haritalar okunmaz. Harita adresleri, sayfalardaki bağlantılar tükendikten sonra kuyruğa eklenir; böylece hiçbir sayfadan bağlantı almayan (yetim) sayfalar da bulunur.

#Kapsam

Tarama ana sayfadan başlar ve sayfalardaki iç bağlantıları izler; her adres bir kez taranır.
Yalnız aynı alan adındaki (host) adresler taranır. Dış siteler taranmaz.
Resim, PDF gibi ikili dosyalar sayfa olarak taranmaz.
Kademenin sayfa sınırına ulaşınca tarama durur; kuyrukta adres kalmışsa rapor bunu belirtir ve sayılar sitenin tamamını yansıtmaz.
Her istek için zaman aşımı 20 saniyedir.
Sayfaların dışında robots.txt, site haritaları ve sayfalarda geçen görsellerin boyutu (HEAD isteğiyle) de ölçülür.

#Taramanın ardından

Tarama sonunda PageSpeed ölçümü yapılır (Hız sekmesi), sonuçlar kaydedilir ve e-posta bildirimi gelir.