robots.txt Doğrulayıcı
robots.txt dosyasının sözdizimini doğrulayın ve URL tarama izni durumunu test edin. SEO için vazgeçilmez. Ücretsiz, %100 tarayıcınızda çalışır.
Bilgi
robots.txt nedir?
robots.txt, web sitesinin kök dizininde yer alan ve arama motoru tarayıcılarına hangi sayfaların taranabileceğini bildiren dosyadır. Doğru yapılandırma SEO optimizasyonuna katkıda bulunur.
Yönergeler
User-agent — hedef tarayıcı botu belirtir. Disallow — taranması yasaklanan yol. Allow — Disallow içinde belirli bir yola izin verir. Sitemap — site haritası URL'si. Crawl-delay — istekler arası gecikme.
Kullanım Alanları
SEO — tarayıcı erişim kontrolünü doğrulama. Site taşıma — yeni robots.txt'nin ön testi. Hata ayıklama — indekslenme sorunlarının teşhisi.
Gizlilik
Tüm doğrulama %100 tarayıcınızda gerçekleşir. robots.txt içeriği asla sunucuya gönderilmez.