Robots.txt वैलिडेटर

संदर्भ

Robots.txt क्या है?

Robots.txt वेबसाइट के रूट में रखी गई एक फ़ाइल है जो सर्च इंजन क्रॉलर को बताती है कि वे किन पेजों को एक्सेस कर सकते हैं। यह Robots Exclusion Protocol का हिस्सा है और SEO तथा वेबसाइट प्रबंधन का एक महत्वपूर्ण हिस्सा है।

डायरेक्टिव

User-agent — लक्षित क्रॉलर बॉट निर्दिष्ट करता है। Disallow — निर्दिष्ट पाथ को क्रॉल करने से रोकता है। Allow — Disallow नियम को ओवरराइड करके विशिष्ट पाथ की अनुमति देता है। Sitemap — XML साइटमैप का URL इंगित करता है। Crawl-delay — अनुरोधों के बीच प्रतीक्षा समय निर्दिष्ट करता है।

उपयोग के मामले

SEO ऑडिट — सत्यापित करें कि महत्वपूर्ण पेज ब्लॉक नहीं हैं। डिबगिंग — जाँचें कि विशिष्ट URL क्रॉलर के लिए अनुमत है या नहीं। सिंटैक्स जाँच — robots.txt डायरेक्टिव में त्रुटियाँ खोजें। माइग्रेशन — साइट माइग्रेशन से पहले नियमों को वैलिडेट करें।

गोपनीयता

सभी वैलिडेशन 100% आपके ब्राउज़र में चलता है। कोई डेटा किसी सर्वर पर नहीं भेजा जाता — सब कुछ आपके डिवाइस पर रहता है।