Валидатор robots.txt
Проверяйте и тестируйте файл robots.txt. Проверка допуска URL для конкретных User-Agent. Валидация синтаксиса директив. Бесплатно, 100% в вашем браузере.
Справка
Что такое robots.txt?
robots.txt — это текстовый файл в корне сайта, который сообщает поисковым роботам и другим краулерам, какие страницы можно или нельзя индексировать. Это стандартный протокол (Robots Exclusion Protocol), который соблюдают основные поисковые системы.
Директивы
User-agent — указывает, для какого робота предназначены правила. Allow — разрешает доступ к указанному пути. Disallow — запрещает доступ к указанному пути. Sitemap — указывает URL карты сайта. * — подстановочный символ для всех роботов.
Применение
SEO оптимизация — управление индексацией страниц поисковыми системами. Защита контента — блокировка доступа к административным разделам. Управление краулерами — контроль нагрузки от ботов. Отладка — проверка, почему страницы не индексируются.
Конфиденциальность
Вся обработка выполняется на 100% в вашем браузере. Никакие данные никогда не отправляются на сервер — всё остаётся на вашем устройстве.