Επικύρωση Robots.txt
Επικυρώστε και δοκιμάστε το αρχείο robots.txt σας. Ελέγξτε αν ένα URL επιτρέπεται ή αποκλείεται, επαληθεύστε τη σύνταξη οδηγιών. Δωρεάν, 100% στον browser.
Αναφορά
Τι είναι το robots.txt;
Το robots.txt είναι ένα αρχείο στη ρίζα μιας ιστοσελίδας που ενημερώνει τους crawlers μηχανών αναζήτησης ποιες σελίδες μπορούν να προσπελάσουν. Αποτελεί μέρος του Robots Exclusion Protocol και είναι σημαντικό κομμάτι SEO και διαχείρισης ιστοσελίδων.
Οδηγίες
User-agent — καθορίζει τον στοχευμένο crawler bot. Disallow — αποτρέπει την ανίχνευση συγκεκριμένων διαδρομών. Allow — παρακάμπτει κανόνα Disallow για συγκεκριμένες διαδρομές. Sitemap — υποδεικνύει το URL του XML sitemap. Crawl-delay — καθορίζει χρόνο αναμονής μεταξύ αιτημάτων.
Περιπτώσεις χρήσης
SEO audit — επαληθεύστε ότι σημαντικές σελίδες δεν αποκλείονται. Debugging — ελέγξτε αν ένα URL επιτρέπεται στους crawlers. Έλεγχος σύνταξης — εντοπίστε σφάλματα σε οδηγίες robots.txt. Μεταφορά — επικυρώστε κανόνες πριν τη μεταφορά site.
Απόρρητο
Όλη η επικύρωση εκτελείται 100% στον browser σας. Κανένα δεδομένο δεν αποστέλλεται σε κανέναν server — τα πάντα παραμένουν στη συσκευή σας.