अपनी साइट की robots.txt फ़ाइल एडिट करना

robots.txt फ़ाइल सर्च इंजन को बताती है कि आपकी साइट के किन पेजों को सर्च रिजल्ट में शामिल करना है या स्किप करना है। जब सर्च इंजन आपकी साइट को क्रॉल और इंडेक्स करते हैं, तब वे आपकी साइट की robots.txt फ़ाइल चेक करते हैं। इससे यह गारंटी नहीं मिलती कि सर्च इंजन किसी पेज या फ़ाइल को क्रॉल करेंगे या नहीं, लेकिन यह कम सटीक इंडेक्सिंग की कोशिशों को रोकने में मदद कर सकती है।

अगर आप अपनी साइट की क्रॉल रिक्वेस्ट पर बेहतर कंट्रोल चाहते हैं, तो अपनी robots.txt फ़ाइल एडिट कर सकते हैं।

robots.txt फ़ाइल में सर्च इंजन की कुछ रिक्वेस्ट को अनुमति देने या ब्लॉक करने के निर्देश होते हैं। “allow” कमांड क्रॉलर को बताती है कि वे किन लिंक को फॉलो कर सकते हैं, जबकि “disallow” कमांड बताती है कि वे किन लिंक को फॉलो नहीं कर सकते। इसमें आपकी साइट की sitemap फ़ाइल का URL भी शामिल होता है।

अपनी साइट की robots.txt फ़ाइल देखने के लिए, अपने रूट डोमेन के आखिर में "/robots.txt" जोड़ें। उदाहरण: https://www.mystunningwebsite.com/robots.txt।

अपनी साइट के एसईओ और जीईओ डैशबोर्ड में Robots.txt एडिटर का इस्तेमाल करके, आप अपनी साइट की robots.txt फ़ाइल एडिट कर सकते हैं। डिफॉल्ट रूप से, आपकी साइट की robots.txt फ़ाइल सर्च इंजन बॉट को आपकी साइट के सभी पेजों का एक्सेस देती है। हो सकता है कि बॉट कुछ पेजों को एक्सेस न कर पाएं, अगर वे:

अपनी robots.txt फ़ाइल में बदलाव करने से पहले, हमारा सुझाव है कि आप robots.txt फ़ाइलों के लिए गूगल की गाइडलाइन और सीमाएं चेक करें।

अगर आपने अपनी साइट की robots.txt फाइल में बदलाव किए हैं और उसे पहले जैसा करना चाहते हैं, तो अपनी साइट के एसईओ और जीईओ डैशबोर्ड में मौजूद रोबोट्स.txt एडिटर से उसे डिफॉल्ट स्थिति में रीसेट कर सकते हैं।

कभी-कभी आपको ब्लॉक्ड बाय robots.txt जैसे एरर अपनी Wix Site Inspection रिपोर्ट या अपने Google Search Console अकाउंट में दिख सकते हैं।

अगर आपको ऐसा कोई एरर दिखता है, तो अपनी robots.txt फाइल एडिट करने की जरूरत नहीं है, खासकर तब जब आपने इसे पहले कभी एडिट नहीं किया हो। इसके बजाय, अपने पेजों पर ये सेटिंग्स चेक करें:

अगर आपको कोई पेज अपडेट करना है, तो पेज पब्लिश करने के बाद Wix आपकी robots.txt फ़ाइल को अपने-आप अपडेट कर देता है। अगर आप अपनी साइट की सेटिंग्स बदलते हैं, तो आपकी robots.txt फ़ाइल तुरंत अपडेट हो जाती है।

बदलाव करने के बाद, अगली बार सर्च इंजन आपकी साइट को क्रॉल करेंगे, तो वे आपकी robots.txt फ़ाइल के कैश्ड वर्जन को अपडेट कर देंगे। अगर आपको इसे जल्दी अपडेट कराना है, तो आप रीइंडेक्सिंग के लिए अपना होमपेज सर्च इंजन में सबमिट करने की कोशिश कर सकते हैं।