Tarama nasıl çalışır

Nazik tarama, robots.txt, site haritası ve kapsam.

Tarama, siteye nazik davranmak üzere tasarlandı: düşük hız, robots.txt’ye uyum ve tek seferde tek tarama.

#Hız

Doğrulanmamış sitelerde saniyede 2 istek, doğrulanmış sitelerde 5 istek gönderilir. Sitenin robots.txt dosyasında Crawl-delay varsa, istekler en az o kadar aralıkla gönderilir. Site 429 (ya da Retry-After başlıklı 503) dönerse tarayıcı yavaşlar, bekler ve o sayfayı en fazla üç kez dener. Geçici sunucu hatalarında (500, 502, 503, 504; ör. yayın sırasında) sayfa 5 ve 20 saniye beklenip yeniden istenir; yine hata dönerse raporlanır. Bu bekleme tarama başına en çok 20 sayfa için yapılır. Hız sınırına takılan sayfalar raporda “hız sınırına takıldı” olarak işaretlenir; denetlenemediği için puana ve karşılaştırmaya katılmaz.

#Bot koruması

Site, Cloudflare gibi bir bot koruması üzerinden sayfa yerine doğrulama ya da engel sayfası döndürürse bu sayfa içerik sayılmaz: “denetlenemedi” olarak işaretlenir, sitenin hatası diye raporlanmaz. Art arda engel gelirse tarama yavaşlar, engel sürerse erken biter. Ana sayfa engelliyse tarama başarısız sayılır, token iade edilir ve raporda koruma sağlayıcısının adı ile botumuza nasıl izin verileceği yazılır.

#robots.txt

Tarama önce /robots.txt dosyasını okur. Botumuz için yasaklanmış adreslere girilmez; bu adresler taranmaz ve kuyruktan düşer. Dosya hatalıysa ya da yoksa buna ilişkin kontroller de raporda görünür.

#Site haritası

Haritalar robots.txt içindeki Sitemap satırlarından okunur; satır yoksa /sitemap.xml denenir. Harita dizinleri izlenir. Sıkıştırılmış (.gz) haritalar okunmaz. Harita adresleri, sayfalardaki bağlantılar tükendikten sonra kuyruğa eklenir; böylece hiçbir sayfadan bağlantı almayan (yetim) sayfalar da bulunur. Haritadaki adres sayısı sayfa sınırından büyükse (ör. 100 sayfalık ön izleme ya da küçük kademe) sınır ikiye paylaştırılır: yaklaşık yarısı ana sayfadan bağlantı izlenerek, yarısı site haritasındaki adreslerden taranır; bir taraf biterse kalan sınırı öbürü kullanır. Haritadan alınan adresler dosyalara dengeli dağıtılır, son değişim tarihi yeni olanlar önce gelir.

#Kapsam

Tarama ana sayfadan başlar ve sayfalardaki iç bağlantıları izler; her adres bir kez taranır.
Yalnız aynı alan adındaki (host) adresler taranır. Dış siteler taranmaz.
Resim, PDF gibi ikili dosyalar sayfa olarak taranmaz.
Kademenin sayfa sınırına ulaşınca tarama durur; kuyrukta adres kalmışsa rapor bunu belirtir ve sayılar sitenin tamamını yansıtmaz.
Her istek için zaman aşımı 20 saniyedir.
Sayfaların dışında robots.txt, site haritaları ve sayfalarda geçen görsellerin boyutu (HEAD isteğiyle) de ölçülür.

#Taramanın ardından

Sayfalar bitince doğrulama turu çalışır: hatalı çıkan adresler (hız sınırı, yanıt yok, 5xx, 403, 404/410) ile okunamayanrobots.txt ve site haritaları kısa bir beklemeden sonra yavaşça bir kez daha istenir; yavaş yanıt veren sayfaların süresi de ikinci kez ölçülür. Düzelen sonuç geçici sayılır ve bulgu çıkmaz; düzelmezse bulgu iki denemenin sonucuyla yazılır. Tur en çok 60 adres ve 150 saniyeyle sınırlıdır; denenemeyen adresler “doğrulanamadı” olarak bilgi düzeyinde kalır.

Ardından PageSpeed ölçümü yapılır (Hız sekmesi), sonuçlar kaydedilir ve e-posta bildirimi gelir. PageSpeed istekleri Google'ın kendi ölçüm aracından gelir, botumuzun adını taşımaz.