अपनी साइट पर एआई क्रॉलर्स को ब्लॉक करना

एआई क्रॉलर्स को अपनी साइट से ब्लॉक करके तय करें कि आपके कंटेंट को कौन एक्सेस और इस्तेमाल कर सकता है। यह खास तौर पर उन साइट ओनर्स के लिए उपयोगी है जो अपने कंटेंट को बिना परमिशन लार्ज लैंग्वेज मॉडल्स (LLMs) को ट्रेन करने के लिए इस्तेमाल होने से रोकना चाहते हैं। उदाहरण के लिए, खास रिसर्च आर्टिकल्स वाला कोई साइट ओनर शायद नहीं चाहेगा कि एआई बिना उसकी सहमति के उसके कंटेंट को स्क्रैप और इस्तेमाल करे।

आपकी साइट की robots.txt फ़ाइल में सर्च इंजन से आने वाली कुछ रिक्वेस्ट को अलाउ या डिसअलाउ करने के निर्देश होते हैं। “अलाउ” कमांड क्रॉलर्स को बताता है कि वे किन लिंक्स को फ़ॉलो कर सकते हैं, जबकि “डिसअलाउ” कमांड बताता है कि वे किन लिंक्स को फ़ॉलो नहीं कर सकते।

मेटा टैग्स HTML कोड के हिस्से होते हैं, जिनमें पृष्ठ की ऐसी जानकारी होती है जिसे वेब ब्राउजर और सर्च इंजन पढ़ सकते हैं। अपनी साइट के Robots मेटा टैग्स कॉन्फिगर करने से आप हर पृष्ठ के लिए यह कंट्रोल कर सकते हैं कि उसके HTML को कैसे क्रॉल किया जाए और सर्च रिजल्ट्स में कैसे इंडेक्स किया जाए।

अपनी साइट से एआई क्रॉलर को ब्लॉक करने के बारे में ज़्यादा जानने के लिए, नीचे दिए गए सवाल पर क्लिक करें।