Het Robots.txt-bestand van je website bewerken
In dit artikel
- Het robots.txt-bestand begrijpen
- Het robots.txt-bestand bewerken
- Een robots.txt-bestand herstellen
- Robots.txt-fout in Wix Site Inspection of Google Search Console
Belangrijk:
Het bewerken van je robots.txt-bestand is een geavanceerde functie. Als je wijzigingen aanbrengt in dit bestand, kunnen er problemen ontstaan met de weergave van je website in de zoekresultaten. De Wix Klantenservice kan je niet helpen met wijzigingen die je aanbrengt in je robots.txt-bestand.
Een robots.txt-bestand vertelt zoekmachines welke van je websitepagina's ze moeten opnemen of overslaan in hun zoekresultaten. Zoekmachines controleren het robots.txt-bestand van je website wanneer ze
je website crawlen en indexeren. Dit garandeert niet dat zoekmachines een pagina of bestand wel of niet zullen crawlen, maar het kan minder nauwkeurige indexeringspogingen helpen voorkomen.
Als je betere controle wilt over crawl-verzoeken aan je website, kun je je robots.txt-bestand bewerken.
Als je betere controle wilt over crawl-verzoeken aan je website, kun je je robots.txt-bestand bewerken.
Tip:
- Je kunt voorkomen dat zoekmachines een afzonderlijke pagina indexeren in de editor van je website.
- Je kunt ook meer controle krijgen over hoe zoekmachines de pagina's van je website indexeren met behulp van de robots-metatag. Je kunt bijvoorbeeld een 'nofollow'-tag gebruiken om zoekmachines te vertellen geen links op een pagina te volgen. Lees meer over de robots-metatag.
Het robots.txt-bestand begrijpen
Het robots.txt-bestand bevat instructies om bepaalde verzoeken van zoekmachines toe te staan of te weigeren. Het 'allow'-commando vertelt crawlers welke links ze kunnen volgen, terwijl het 'disallow'-commando crawlers de links vertelt die ze niet kunnen volgen. Het bevat ook de URL van
het sitemap-bestand van je website.
Je kunt het robots.txt-bestand van je website bekijken door '/robots.txt' toe te voegen aan je hoofddomein. Een voorbeeld zou zijn:
https://www.mijnprofessionelewebsite.com/robots.txt.
Wil je meer weten?
- Ga naar de Wix SEO Learning Hub voor ons artikel over het robots.txt-bestand
- Lees meer over hoe Google het robots.txt-bestand van je website interpreteert
Het robots.txt-bestand bewerken
Je kunt het robots.txt-bestand van je website bewerken met behulp van de robots.txt-editor op het SEO en GEO-dashboard van je website. Met het robots.txt-bestand an je website hebben zoekmachinebots standaard toegang tot alle pagina's van je website. Bots hebben mogelijk geen toegang tot bepaalde pagina's als:
- Met een wachtwoord beschermde pagina's
- Pagina's alleen voor leden
- Pagina's waarvoor je indexering hebt voorkomen in de editor van je website of de SEO-instellingen van je website
Voordat je wijzigingen aanbrengt in je robots.txt-bestand, raden we aan
de richtlijnen en beperkingen van Google voor robot.txt-bestanden te lezen.
Belangrijk:
Als je het robots.txt-bestand van je website bewerkt, kunnen er problemen optreden met de weergave van de pagina's van je website in de zoekresultaten.
Om je robots.txt-bestand te bewerken:
- Ga naar SEO en GEO op het dashboard van de website.
- Scrol omlaag naar Tools en instellingen.
- Klik op Robots.txt Editor.
- Klik op Bestand bekijken.
- Voeg je robots.txt-bestandsgegevens toe door de instructies te schrijven onder Dit is je huidige bestand.
- Klik op Wijzigingen opslaan.
- Klik op Opslaan.
Tip:
- Zoekmachines zullen de volgende keer dat ze je website crawlen hun cache-versie van je robots.txt-bestand bijwerken.
- Als je deze sneller moet bijwerken, kun je proberen de URL van je homepage in te dienen bij zoekmachines.
Een robots.txt-bestand herstellen
Als je het robots.txt-bestand van je website hebt gewijzigd en het terug wilt wijzigen, kun je het terugzetten naar de standaardstatus met behulp van de robots.txt-editor in het SEO en GEO-dashboard van je website.
Om je robots.txt-bestand opnieuw in te stellen:
- Ga naar SEO en GEO op het dashboard van de website.
- Scrol omlaag naar Tools en instellingen.
- Klik op Robots.txt Editor.
- Klik op Bestand bekijken.
- Klik Herstellen naar standaard.
- Klik op Opnieuw instellen.
Tip:
- Zoekmachines zullen de volgende keer dat ze je website crawlen hun cache-versie van je robots.txt-bestand bijwerken.
- Als je deze sneller moet bijwerken, kun je proberen de URL van je homepage in te dienen bij zoekmachines.
Robots.txt-fout in Wix Site Inspection of Google Search Console
Je ziet soms fouten zoals
Geblokkeerd door robots.txt in
je Wix Site Inspection-rapport of
je Google Search Console-account.
Als je een dergelijke fout ziet, hoef je je robots.txt-bestand niet te bewerken, vooral niet als je het nog nooit eerder hebt bewerkt. In plaats daarvan moet je je pagina's controleren op de volgende instellingen:
- Je voorkomt dat zoekmachines de pagina kunnen indexeren in:
- De pagina is met een wachtwoord beschermd
- De pagina is alleen voor leden
Als je een pagina moet bijwerken, werkt Wix automatisch je robots.txt bij nadat je de pagina hebt gepubliceerd. Als je de instellingen van je website wijzigt, wordt je robots.txt-bestand onmiddellijk bijgewerkt.
Nadat je een wijziging hebt aangebracht, werken zoekmachines hun gecachete versie van je robots.txt-bestand bij de volgende keer dat ze je website crawlen. Als je deze eerder moet bijwerken, kun je proberen
je homepage bij zoekmachines in te dienen voor herindexering.