Het robots.txt-bestand van je website bewerken
4 min
In dit artikel
- Je robots.txt-bestand begrijpen
- Je robots.txt-bestand bewerken
- Je robots.txt-bestand opnieuw instellen
- Robots.txt-fout in Wix Site Inspection of Google Search Console
Belangrijk:
Het bewerken van je robots.txt-bestand is een Advanced functie. Het aanbrengen van wijzigingen in dit bestand kan problemen veroorzaken met de weergave van je website in zoekresultaten. De Wix Klantenservice kan je niet helpen met wijzigingen die je aanbrengt in je robots.txt-bestand.
Een robots.txt-bestand vertelt zoekmachines welke pagina's van je website ze moeten opnemen of pauzeren in hun zoekresultaten. Zoekmachines controleren het robots.txt-bestand van je website wanneer ze je website crawlen en indexeren. Dit garandeert niet dat zoekmachines een pagina of bestand wel of niet zullen crawlen, maar het kan minder nauwkeurige indexeringspogingen helpen voorkomen.
Als je meer controle wilt over crawl-aanvragen naar je website, kun je je robots.txt-bestand bewerken.
Als je meer controle wilt over crawl-aanvragen naar je website, kun je je robots.txt-bestand bewerken.
Fooi:
- Je kunt voorkomen dat zoekmachines een individuele pagina indexeren in de Editor van je website.
- Je kunt ook meer controle krijgen over hoe zoekmachines de pagina's van je website indexeren met de robots-metatag. Je kunt bijvoorbeeld een "nofollow"-tag gebruiken om zoekmachines te vertellen geen links op een pagina te volgen. Lees meer over de robots-metatag
Je robots.txt-bestand begrijpen
Het robots.txt-bestand bevat instructies om bepaalde aanvragen van zoekmachines toe te staan of te weigeren. De “allow”-opdracht vertelt crawlers welke links ze kunnen volgen, terwijl de “disallow”-opdracht crawlers vertelt welke links ze niet kunnen volgen. Het bevat ook de URL van het sitemapbestand van je website.
Je kunt het robots.txt-bestand van je website bekijken door "/robots.txt" toe te voegen aan je hoofddomein. Een voorbeeld hiervan is: https://www.mystunningwebsite.com/robots.txt.
Wil je meer lezen?
- Ga naar de Wix SEO Learning Hub om ons artikel over het robots.txt-bestand te lezen.
- Lees meer over hoe Google het robots.txt-bestand van je website interpreteert
Je robots.txt-bestand bewerken
Je kunt het robots.txt-bestand van je website bewerken met de Robots.txt Editor in het SEO-dashboard van je website. Het robots.txt-bestand van je website staat zoekmachine-bots standaard toe om alle pagina's van je website te bezoeken. Bots hebben mogelijk geen toegang tot bepaalde pagina's als deze:
- Met een wachtwoord beveiligde pagina's
- Pagina's alleen voor leden
- Pagina's waarvoor je indexering hebt voorkomen in de Editor van je website of de SEO-instellingen van je website
Voordat je wijzigingen aanbrengt in je robots.txt-bestand, raden we je aan om Google's richtlijnen en beperkingen voor robots.txt-bestanden te bekijken.
Belangrijk:
Het bewerken van het robots.txt-bestand van je website kan problemen veroorzaken met het verschijnen van de pagina's van je website in de zoekresultaten.
Om je robots.txt-bestand te bewerken:
- Ga naar je SEO-dashboard.
- Selecteer Ga naar Robots.txt Editor onder Tools en instellingen.
- Klik op Bestand bekijken.
- Voeg de informatie voor je robots.txt-bestand toe door de richtlijnen onder Dit is je huidige bestand te schrijven.
- Klik op Wijzigingen opslaan.
- Klik op Opslaan.
Fooi:
- Zoekmachines zullen hun gecachte versie van je robots.txt-bestand bijwerken de volgende keer dat ze je website crawlen.
- Als je dit sneller moet bijwerken, kun je proberen om de URL van je homepage in te dienen bij zoekmachines.
Je robots.txt-bestand opnieuw instellen
Als je het robots.txt-bestand van je website hebt gewijzigd en dit ongedaan wilt maken, kun je het terugzetten naar de standaardstatus met de Robots.txt Editor in het SEO-dashboard van je website.
Om je robots.txt-bestand opnieuw instellen:
- Ga naar het SEO-dashboard van je website.
- Selecteer Ga naar Robots.txt Editor onder Tools en instellingen.
- Klik op Bestand bekijken.
- Klik op Standaardinstellingen herstellen.
- Klik op Opnieuw instellen.
Fooi:
- Zoekmachines zullen hun gecachte versie van je robots.txt-bestand bijwerken de volgende keer dat ze je website crawlen.
- Als je dit sneller moet bijwerken, kun je proberen om de URL van je homepage in te dienen bij zoekmachines.
Robots.txt-fout in Wix Site Inspection of Google Search Console
Je ziet soms fouten zoals Geblokkeerd door robots.txt in je Wix Site Inspection-rapport of je Google Search Console-account.
Als je een fout als deze ziet, hoef je je robots.txt-bestand niet te bewerken, vooral niet als je het nog nooit eerder hebt bewerkt. In plaats daarvan moet je je pagina's controleren op de volgende instellingen:
- Het is voor zoekmachines niet mogelijk om de pagina te indexeren in:
- De pagina is beveiligd met een wachtwoord
- De pagina is alleen voor leden
Als je een pagina moet bijwerken, werkt Wix automatisch je robots.txt bij nadat je de pagina hebt gepubliceerd. Als je de instellingen van je website wijzigt, wordt je robots.txt-bestand onmiddellijk bijgewerkt.
Nadat je een wijziging hebt aangebracht, zullen zoekmachines hun gecachte versie van je robots.txt-bestand bijwerken de volgende keer dat ze je website crawlen. Als je dit sneller moet bijwerken, kun je proberen om je homepage in te dienen bij zoekmachines voor herindexering.