Het Robots.txt-bestand van je website bewerken
Leestijd 4 minuten
Belangrijk:
Het bewerken van je robots.txt-bestand is een geavanceerde functie. Als je wijzigingen aanbrengt in dit bestand, kunnen er problemen ontstaan met de weergave van je website in de zoekresultaten. De Wix Klantenservice kan je niet helpen met wijzigingen die je aanbrengt in je robots.txt-bestand.
Een robots.txt-bestand vertelt zoekmachines welke van je websitepagina's ze moeten opnemen of overslaan in hun zoekresultaten. Zoekmachines controleren het robots.txt-bestand van je website wanneer ze je website crawlen en indexeren. Dit garandeert niet dat zoekmachines een pagina of bestand wel of niet zullen crawlen, maar het kan minder nauwkeurige indexeringspogingen helpen voorkomen.
Als je betere controle wilt over crawl-verzoeken aan je website, kun je je robots.txt-bestand bewerken.
Als je betere controle wilt over crawl-verzoeken aan je website, kun je je robots.txt-bestand bewerken.
Tip:
- Je kunt voorkomen dat zoekmachines een afzonderlijke pagina indexeren in de Editor van je website. Lees hoe je dit doet in de Editor en in Editor X.
- Je kunt ook meer controle krijgen over hoe zoekmachines de pagina's van je website indexeren met behulp van de robots-metatag. Je kunt bijvoorbeeld een 'nofollow'-tag gebruiken om zoekmachines te vertellen geen links op een pagina te volgen. Lees meer over de robots-metatag
Lees in dit artikel meer over:
Het robots.txt-bestand begrijpen
Het robots.txt-bestand bevat instructies om bepaalde verzoeken van zoekmachines toe te staan of te weigeren. Het 'allow'-commando vertelt crawlers welke links ze kunnen volgen, terwijl het 'disallow'-commando crawlers de links vertelt die ze niet kunnen volgen. Het bevat ook de URL van het sitemap-bestand van je website.
Je kunt het robots.txt-bestand van je website bekijken door '/robots.txt' toe te voegen aan je hoofddomein. Een voorbeeld zou zijn: https://www.mijnprofessionelewebsite.com/robots.txt.
Wil je meer weten?
- Ga naar de Wix SEO Learning Hub voor ons artikel over het robots.txt-bestand
- Lees meer over hoe Google het robots.txt-bestand van je website interpreteert
Het robots.txt-bestand bewerken
Je kunt het robots.txt-bestand van je website bewerken met de Robots.txt Editor op het SEO-dashboard van je website. Met het robots.txt-bestand an je website hebben zoekmachinebots standaard toegang tot alle pagina's van je website. Bots hebben mogelijk geen toegang tot bepaalde pagina's als:
- De pagina's met een wachtwoord beveiligd zijn
- De pagina's alleen voor leden zijn
- De pagina's indexering voorkomen zoals ingesteld in de Editor van je website of de SEO-instellingen van je website
Voordat je wijzigingen aanbrengt in je robots.txt-bestand, raden we aan de richtlijnen en beperkingen van Google voor robot.txt-bestanden te lezen.
Belangrijk:
Als je het robots.txt-bestand van je website bewerkt, kunnen er problemen optreden met de weergave van de pagina's van je website in de zoekresultaten.
Om je robots.txt-bestand te bewerken:
- Ga naar je SEO-dashboard.
- Selecteer Naar Robots.txt Editor onder Tools en instellingen.
- Klik op Bestand bekijken.
- Voeg je robots.txt-bestandsgegevens toe door de instructies te schrijven onder Dit is je huidige bestand.
- Klik op Wijzigingen opslaan.
- Klik op Opslaan.
Tip:
- Zoekmachines zullen de volgende keer dat ze je website crawlen hun cache-versie van je robots.txt-bestand bijwerken.
- Je kunt dit proces versnellen door de URL van je homepage in te dienen bij zoekmachines.
Een robots.txt-bestand herstellen
Als je het robots.txt-bestand van je website hebt gewijzigd en het terug wilt zetten naar hoe het oorspronkelijk was, kun je het terugzetten naar de standaardstatus met behulp van de Robots.txt Editor op het SEO-dashboard van je website.
Om je robots.txt-bestand opnieuw in te stellen:
- Ga naar je SEO-dashboard.
- Selecteer Naar Robots.txt Editor onder Tools en instellingen.
- Klik op Bestand bekijken.
- Klik Herstellen naar standaard.
- Klik op Opnieuw instellen.
Tip:
- Zoekmachines zullen de volgende keer dat ze je website crawlen hun cache-versie van je robots.txt-bestand bijwerken.
- Je kunt dit proces versnellen door de URL van je homepage in te dienen bij zoekmachines.
Robots.txt-fout in Wix Site Inspection of Google Search Console
Soms zie je fouten zoals Geblokkeerd door robots.txt in je Wix Site Inspection-rapport of je Google Search Console-account.
Als je een dergelijke fout ziet, hoef je je robots.txt-bestand niet te bewerken, vooral niet als je het nog nooit eerder hebt bewerkt. In plaats daarvan moet je je pagina's controleren op de volgende instellingen:
- Je voorkomt dat zoekmachines de pagina kunnen indexeren in:
- De pagina is met een wachtwoord beveiligd
- De pagina is voor alleen voor leden
Als je een pagina moet bijwerken, werkt Wix automatisch je robots.txt bij nadat je de pagina hebt gepubliceerd. Als je de instellingen van je website wijzigt, wordt je robots.txt-bestand onmiddellijk bijgewerkt.
Nadat je een wijziging hebt aangebracht, werken zoekmachines hun gecachte versie van je robots.txt-bestand bij de volgende keer dat ze je website crawlen. Als je het eerder moet bijwerken, kun je proberen je homepage voor herindexering in te dienen bij zoekmachines.
Vond je dit artikel nuttig?
|