Bloccare i crawler AI dal tuo sito
In questo articolo:
- Utilizzare file robots.txt per bloccare i crawler AI
- Utilizzare i meta tag robot per bloccare i crawler AI
- FAQ
Controlla chi può accedere e utilizzare i tuoi contenuti bloccando i crawler AI dal tuo sito. Ciò è particolarmente utile per i proprietari di siti che vogliono impedire che i loro contenuti vengano utilizzati per addestrare modelli linguistici di grandi dimensioni (LLM) senza autorizzazione. Ad esempio, il proprietario di un sito con articoli di ricerca unici potrebbe non volere che venga eseguito lo scraping dei suoi contenuti e che vengano utilizzati dall'AI senza consenso.
Utilizzare file robots.txt per bloccare i crawler AI
Il file robots.txt del tuo sito contiene le istruzioni per consentire o meno alcune richieste dei motori di ricerca. Il comando "allow" (consenti) indica ai crawler i link che possono seguire, mentre il comando "disallow" (non consentire) indica ai crawler i link che non possono seguire.
Per impostare il file robots.txt in modo che blocchi i crawler AI:
- Vai a SEO e GEO nel Pannello di controllo del tuo sito
- Scorri verso il basso fino a Strumenti e impostazioni
- Clicca su Editor Robots.txt
- Clicca su Visualizza file
- Clicca sul campo sotto Il tuo file robots.txt
- Aggiungi le informazioni del tuo file robots.txt scrivendo le seguenti istruzioni sotto Questo è il tuo file attuale:
- User-agent: CCBot
Non consentire: / - User-agent: GPTBot
Non consentire: / - User-agent: ChatGPT-User
Non consentire: / - User-agent: BingAI
Non consentire: /
- User-agent: CCBot
- Clicca su Salva modifiche
- Clicca su Salva
Suggerimento:
Questo elenco include alcuni dei crawler AI più noti, ma puoi sempre aggiungerne altri in base alle tue esigenze.
Utilizzare i meta tag robot per bloccare i crawler AI
I meta tag sono parti di codice HTML che contengono informazioni sulla pagina che i browser web e i motori di ricerca sono in grado di leggere. La configurazione dei meta tag robot del tuo sito ti consente di avere il controllo specifico della pagina sul modo in cui l'HTML viene scansionato e indicizzato nei risultati di ricerca.
Per utilizzare i meta tag per bloccare i crawler AI:
Editor Wix
Editor Studio
- Vai al tuo Editor
- Clicca su Pagine e menu
sul lato sinistro dell'Editor - Clicca sull'icona Altre azioni
accanto alla pagina pertinente - Clicca su SEO base
- Clicca sulla scheda SEO avanzata
- Clicca su Meta tag robot
- Seleziona la casella di spunta nosnippet per impedire che il contenuto della pagina venga utilizzato come input diretto per le ricerche dell'AI
- Pubblica il tuo sito
Scopri di più
sui meta tag robot di Google.
FAQ
Clicca su una domanda qui sotto per saperne di più su come bloccare i crawler AI dal tuo sito.
Posso bloccare tutti i crawler?
C'è un modo per bloccare completamente i crawler non autorizzati?
Il blocco dei crawler influirà sulla mia SEO?
Come faccio a sapere quali crawler bloccare?
Se blocco i crawler AI, posso comunque utilizzare NLWeb?