Валидатор на Robots.txt
Валидирайте и тествайте файла robots.txt. Проверете дали URL е разрешен или блокиран, верифицирайте синтаксиса на директивите. Безплатно, 100% в браузъра.
Справка
Какво е robots.txt?
Robots.txt е файл в корена на уебсайта, който информира crawlers на търсачки кои страници могат да достъпват. Част е от Robots Exclusion Protocol и е важна част от SEO и управлението на уебсайтове.
Директиви
User-agent — определя целевия crawler бот. Disallow — предотвратява обхождането на определени пътища. Allow — отменя правило Disallow за конкретни пътища. Sitemap — посочва URL на XML sitemap. Crawl-delay — определя време на изчакване между заявки.
Приложения
SEO одит — проверете, че важни страници не са блокирани. Дебъгване — проверете дали URL е разрешен за crawlers. Проверка на синтаксис — открийте грешки в директивите на robots.txt. Миграция — валидирайте правила преди миграция на сайт.
Поверителност
Цялата валидация работи 100% във вашия браузър. Никакви данни не се изпращат на сървър — всичко остава на вашето устройство.