Validatore robots.txt
Valida la sintassi del file robots.txt e verifica se un URL è consentito o bloccato per il crawling. Essenziale per la SEO. Gratis, 100% nel browser.
Riferimento
Cos'è robots.txt?
robots.txt è un file posizionato nella root del sito web che indica ai crawler dei motori di ricerca quali pagine possono essere scansionate. Una configurazione corretta contribuisce all'ottimizzazione SEO.
Direttive
User-agent — specifica il crawler di destinazione. Disallow — percorso da non scansionare. Allow — consente un percorso specifico dentro un Disallow. Sitemap — URL della sitemap. Crawl-delay — intervallo tra le richieste.
Casi d'uso
SEO — verifica del controllo accesso crawler. Migrazione sito — test preventivo del nuovo robots.txt. Debug — diagnosi di problemi di indicizzazione.
Privacy
Tutta la validazione viene eseguita al 100% nel tuo browser. Il contenuto del robots.txt non viene mai inviato a server.