Bloccare i crawler IA dal tuo sito
4 min
In questo articolo:
- Utilizzare file robots.txt per bloccare i crawler IA
- Utilizzare i meta tag robot per bloccare i crawler IA
- FAQ
Controlla chi può accedere e utilizzare i tuoi contenuti bloccando i crawler IA dal tuo sito. Ciò è particolarmente utile per i proprietari di siti che vogliono impedire che i loro contenuti vengano utilizzati per addestrare modelli linguistici di grandi dimensioni (LLM) senza autorizzazione. Ad esempio, il proprietario di un sito con articoli di ricerca unici potrebbe non volere che venga eseguito lo scraping dei suoi contenuti e che vengano utilizzati dall'IA senza consenso.
Utilizzare file robots.txt per bloccare i crawler IA
Il file robots.txt del tuo sito contiene le istruzioni per consentire o meno alcune richieste dei motori di ricerca. Il comando "allow" (consenti) indica ai crawler i link che possono seguire, mentre il comando "disallow" (non consentire) indica ai crawler i link che non possono seguire.
Per impostare il file robots.txt in modo che blocchi i crawler IA:
- Vai a SEO nel Pannello di controllo del tuo sito
- Seleziona Editor Robots.txt sotto Strumenti e impostazioni
- Clicca su Visualizza file
- Clicca sul campo sotto Il tuo file robots.txt
- Aggiungi le informazioni del tuo file robots.txt scrivendo le seguenti istruzioni sotto Questo è il tuo file attuale:
- User-agent: CCBot
Disallow: / - User-agent: GPTBot
Disallow: / - User-agent: ChatGPT-User
Disallow: / - User-agent: BingAI
Disallow: /
- User-agent: CCBot
- Clicca su Salva modifiche
- Clicca su Salva
Suggerimento:
Questo elenco include alcuni dei crawler IA più noti, ma puoi sempre aggiungerne altri in base alle tue esigenze.
Utilizzare i meta tag robot per bloccare i crawler IA
I meta tag sono parti di codice HTML che contengono informazioni sulla pagina che i browser web e i motori di ricerca sono in grado di leggere. La configurazione dei meta tag robot del tuo sito ti consente di avere il controllo specifico della pagina sul modo in cui l'HTML viene scansionato e indicizzato nei risultati di ricerca.
Per utilizzare i meta tag per bloccare i crawler IA:
Editor Wix
Editor Studio
- Vai al tuo Editor
- Clicca su Pagine e menu
sul lato sinistro dell'Editor - Clicca sull'icona Altre azioni
accanto alla pagina pertinente - Clicca su SEO base
- Clicca sulla scheda SEO avanzata
- Clicca su Meta tag robot
- Seleziona la casella di spunta nosnippet per impedire che il contenuto della pagina venga utilizzato come input diretto per le ricerche dell'IA
- Pubblica il tuo sito
Scopri di più sui meta tag robot da Google.
FAQ
Clicca su una domanda qui sotto per saperne di più su come bloccare i crawler IA dal tuo sito.
Posso bloccare tutti i crawler?
C'è un modo per bloccare completamente i crawler non autorizzati?
Il blocco dei crawler influirà sulla mia SEO?
Come faccio a sapere quali crawler bloccare?