अपनी साइट पर एआई क्रॉलर्स को ब्लॉक करना
एआई क्रॉलर्स को अपनी साइट से ब्लॉक करके तय करें कि आपके कंटेंट को कौन एक्सेस और इस्तेमाल कर सकता है। यह खास तौर पर उन साइट ओनर्स के लिए उपयोगी है जो अपने कंटेंट को बिना परमिशन लार्ज लैंग्वेज मॉडल्स (LLMs) को ट्रेन करने के लिए इस्तेमाल होने से रोकना चाहते हैं। उदाहरण के लिए, खास रिसर्च आर्टिकल्स वाला कोई साइट ओनर शायद नहीं चाहेगा कि एआई बिना उसकी सहमति के उसके कंटेंट को स्क्रैप और इस्तेमाल करे।
robots.txt फ़ाइल का इस्तेमाल करके एआई क्रॉलर्स को ब्लॉक करना
आपकी साइट की robots.txt फ़ाइल में सर्च इंजन से आने वाली कुछ रिक्वेस्ट को अलाउ या डिसअलाउ करने के निर्देश होते हैं। “अलाउ” कमांड क्रॉलर्स को बताता है कि वे किन लिंक्स को फ़ॉलो कर सकते हैं, जबकि “डिसअलाउ” कमांड बताता है कि वे किन लिंक्स को फ़ॉलो नहीं कर सकते।
एआई क्रॉलर्स को ब्लॉक करने के लिए robots.txt फ़ाइल सेट करने का तरीका:
- अपनी साइट के डैशबोर्ड में SEO और GEO पर जाएं।
- नीचे स्क्रॉल करके टूल्स और सेटिंग्स पर जाएं।
- Robots.txt एडिटर पर क्लिक करें।
- व्यू फ़ाइल पर क्लिक करें।
- योर robots.txt फ़ाइल के नीचे दिए गए फ़ील्ड पर क्लिक करें।
- अपनी robots.txt फ़ाइल की जानकारी जोड़ने के लिए, दिस इज़ योर करंट फ़ाइल के नीचे ये डायरेक्टिव्स लिखें:
- User-agent: CCBot
Disallow: / - User-agent: GPTBot
Disallow: / - User-agent: ChatGPT-User
Disallow: / - User-agent: BingAI
Disallow: /
- User-agent: CCBot
- सेव चेंजेज पर क्लिक करें।
- सेव पर क्लिक करें।
टिप:
इस लिस्ट में कुछ जाने-माने एआई क्रॉलर्स शामिल हैं, लेकिन जरूरत के हिसाब से आप इसमें और क्रॉलर्स जोड़ सकते हैं।
Robots मेटा टैग्स का इस्तेमाल करके एआई क्रॉलर्स को ब्लॉक करना
मेटा टैग्स HTML कोड के हिस्से होते हैं, जिनमें पृष्ठ की ऐसी जानकारी होती है जिसे वेब ब्राउजर और सर्च इंजन पढ़ सकते हैं। अपनी साइट के Robots मेटा टैग्स कॉन्फिगर करने से आप हर पृष्ठ के लिए यह कंट्रोल कर सकते हैं कि उसके HTML को कैसे क्रॉल किया जाए और सर्च रिजल्ट्स में कैसे इंडेक्स किया जाए।
एआई क्रॉलर्स को ब्लॉक करने के लिए मेटा टैग्स इस्तेमाल करने का तरीका:
Wix Editor
Studio Editor
- अपने एडिटर पर जाएं।
- एडिटर के बाईं ओर पेजेस और मेन्यू
पर क्लिक करें। - संबंधित पेज के आगे मौजूद मोर एक्शंस आइकन
पर क्लिक करें। - SEO बेसिक्स पर क्लिक करें।
- एडवांस्ड SEO टैब पर क्लिक करें।
- Robots मेटा टैग पर क्लिक करें।
- आपके पेज के कंटेंट को एआई ओवरव्यू के लिए सीधे इनपुट के तौर पर इस्तेमाल होने से रोकने के लिए, nosnippet चेकबॉक्स चुनें।
- अपनी साइट पब्लिश करें।
Google से Robots मेटा टैग के बारे में और जानें।
अक्सर पूछे जाने वाले सवाल
अपनी साइट से एआई क्रॉलर को ब्लॉक करने के बारे में ज़्यादा जानने के लिए, नीचे दिए गए सवाल पर क्लिक करें।
क्या मैं सभी क्रॉलर को ब्लॉक कर सकता हूं?
क्या बिना अनुमति वाले क्रॉलर को पूरी तरह ब्लॉक करने का कोई तरीका है?
क्या क्रॉलर को ब्लॉक करने से मेरे SEO पर असर पड़ेगा?
मुझे कैसे पता चलेगा कि किन क्रॉलर को ब्लॉक करना है?
अगर मैं एआई क्रॉलर को ब्लॉक कर दूं, तो क्या मैं फिर भी NLWeb का इस्तेमाल कर सकता हूं?