Validador de Robots.txt
Valide e teste arquivos robots.txt contra URLs e user-agents específicos. Verifique se uma URL é permitida ou bloqueada. Grátis, 100% no seu navegador.
Referência
O que é robots.txt?
O arquivo robots.txt é um padrão que indica aos rastreadores web quais páginas ou seções de um site podem ou não ser rastreadas. É colocado na raiz do site e respeitado pelos principais motores de busca.
Diretivas
User-agent — especifica o bot ao qual a regra se aplica. Disallow — bloqueia o rastreamento de um caminho. Allow — permite o rastreamento de um caminho específico. Sitemap — indica a localização do mapa do site. Crawl-delay — sugere um atraso entre solicitações.
Casos de uso
SEO — verificar que páginas importantes não estão bloqueadas. Desenvolvimento — testar robots.txt antes de publicar. Auditoria — verificar regras para bots específicos. Depuração — diagnosticar problemas de indexação.
Privacidade
Todo o processamento é executado 100% no seu navegador. Nenhum dado é enviado a servidores.