Walidator robots.txt
Waliduj składnię pliku robots.txt i sprawdź, czy URL jest dozwolony czy zablokowany dla crawlerów. Niezbędne dla SEO. Za darmo, 100% w przeglądarce.
Informacje
Czym jest robots.txt?
robots.txt to plik umieszczony w katalogu głównym strony, który instruuje crawlery wyszukiwarek, które strony mogą być indeksowane. Prawidłowa konfiguracja przyczynia się do optymalizacji SEO.
Dyrektywy
User-agent — określa docelowy crawler. Disallow — ścieżka zabroniona do crawlowania. Allow — zezwala na konkretną ścieżkę w ramach Disallow. Sitemap — URL mapy witryny. Crawl-delay — opóźnienie między żądaniami.
Zastosowania
SEO — weryfikacja kontroli dostępu crawlerów. Migracja strony — wstępne testowanie nowego robots.txt. Debugowanie — diagnoza problemów z indeksowaniem.
Prywatność
Cała walidacja odbywa się w 100% w przeglądarce. Zawartość robots.txt nie jest wysyłana na serwer.