AI-crawlers van je website blokkeren
4 min
In dit artikel
- Het robots.txt-bestand gebruiken om AI-crawlers te blokkeren
- Robots-metatags gebruiken om AI-crawlers te blokkeren
- Veelgestelde vragen
Bepaal wie toegang heeft tot je inhoud en deze kan gebruiken door AI-crawlers van je website te blokkeren. Dit is met name handig voor website-eigenaren die willen voorkomen dat hun inhoud zonder toestemming wordt gebruikt om large language models (LLMs) te trainen. Een website-eigenaar met unieke onderzoeksartikelen wil bijvoorbeeld niet dat hun inhoud zonder toestemming door AI wordt gescrapet en gebruikt.
Het robots.txt-bestand gebruiken om AI-crawlers te blokkeren
Het robots.txt-bestand van je website bevat instructies om bepaalde verzoeken van zoekmachines toe te staan of te weigeren. Het 'allow'-commando vertelt crawlers welke links ze kunnen volgen, terwijl het 'disallow'-commando crawlers de links vertelt die ze niet kunnen volgen.
Om het robots.txt-bestand in te stellen om AI-crawlers te blokkeren:
- Ga naar SEO op het dashboard van je website.
- Selecteer onder Tools en instellingen Robots.txt Editor.
- Klik op Bestand bekijken.
- Klik op het veld onder Je robots.txt-bestand.
- Voeg de gegevens van je robots.txt-bestand toe door de volgende instructies te schrijven onder Dit is je huidige bestand:
- User-agent: CCBot
Niet toestaan: / - User-agent: GPTBot
Niet toestaan: / - User-agent: ChatGPT-User
Niet toestaan: / - User-agent: BingAI
Niet toestaan: /
- User-agent: CCBot
- Klik op Wijzigingen opslaan.
- Klik op Opslaan.
Tip:
Deze lijst bevat enkele bekende AI-crawlers, maar je kunt er altijd meer toevoegen.
Robots-metatags gebruiken om AI-crawlers te blokkeren
Metatags zijn stukjes HTML-code die pagina-informatie bevatten die webbrowsers en zoekmachines kunnen lezen. Door de robots-metatags van je website te configureren, kun je paginaspecifieke controle hebben over hoe de HTML wordt gecrawld en geïndexeerd in de zoekresultaten.
Om metatags te gebruiken om AI-crawlers te blokkeren:
Wix Editor
Studio Editor
- Ga naar je editor.
- Klik links in de editor op Pagina's en menu
. - Klik naast de betreffende pagina op het Meer acties-pictogram
. - Klik op Basis SEO.
- Klik op het Geavanceerde SEO-tabblad.
- Klik op Robots-metatag.
- Schakel nosnippet in om te voorkomen dat de inhoud van je pagina wordt gebruikt als directe invoer voor AI-overzichten.
- Publiceer je website.
Lees meer over robots-metatags bij Google.
Veelgestelde vragen
Klik op een vraag hieronder om meer te lezen over het blokkeren van AI-crawlers van je website.
Kan ik alle crawlers blokkeren?
Is er een manier om ongeautoriseerde crawlers volledig te blokkeren?
Heeft het blokkeren van crawlers invloed op mijn SEO?
Hoe weet ik welke crawlers ik moet blokkeren?