Die robots.txt-Datei Deiner Website Bearbeiten
4 Min.
In diesem Artikel
- Deine robots.txt-Datei verstehen
- Deine robots.txt-Datei bearbeiten
- Deine robots.txt-Datei zurücksetzen
- Robots.txt-Fehler im Website-Prüftool von Wix oder in der Google Search Console
Wichtig:
Die Bearbeitung deiner robots.txt-Datei ist eine erweiterte Funktion. Änderungen an dieser Datei können zu Problemen mit deiner Website in den Suchergebnissen führen. Das Support-Team von Wix kann dir nicht bei allen Änderungen helfen, die du an deiner robots.txt-Datei vornimmst.
Eine robots.txt-Datei teilt Suchmaschinen mit, welche Seiten deiner Website sie in die Suchergebnisse aufnehmen und welche sie überspringen sollen. Suchmaschinen überprüfen die robots.txt-Datei deiner Website, wenn sie deine Website crawlen und indexieren. Das garantiert zwar nicht, dass Suchmaschinen eine Seite oder Datei crawlen oder nicht, aber es kann dazu beitragen, ungenaue Indexierungsversuche zu verhindern.
Wenn du eine bessere Kontrolle über die Crawl-Anfragen an deine Website wünschst, kannst du die robots.txt-Datei bearbeiten.
Wenn du eine bessere Kontrolle über die Crawl-Anfragen an deine Website wünschst, kannst du die robots.txt-Datei bearbeiten.
Tipp:
- Du kannst in deinem Editor verhindern, dass Suchmaschinen bestimmte Seiten indexieren.
- Du kannst dir auch mithilfe des Robots-Meta-Tags mehr Kontrolle darüber verschaffen, wie Suchmaschinen die Seiten deiner Website indexieren. Du kannst zum Beispiel ein „nofollow“-Tag verwenden, um Suchmaschinen mitzuteilen, dass sie Links auf einer Seite nicht folgen sollen. Erfahre hier mehr über das Robots-Meta-Tag.
Deine robots.txt-Datei verstehen
Die robots.txt-Datei enthält Anweisungen, um bestimmte Anfragen von Suchmaschinen zuzulassen oder abzulehnen.Der Befehl „allow“ teilt den Crawlern die Links mit, denen sie folgen können, der Befehl „disallow“ teilt den Crawlern die Links mit, denen sie nicht folgen können. Außerdem enthält sie die URL der Sitemap-Datei deiner Website.
Du kannst die robots.txt-Datei deiner Website anzeigen, indem du „/robots.txt“ zu deiner Root-Domain hinzufügst. Ein Beispiel wäre: https://www.meinewebsite.com/robots.txt.
Möchtest du mehr darüber erfahren?
- Öffne den SEO Learning Hub von Wix, um unseren Artikel über die robots.txt-Datei zu lesen (Artikel nur auf Englisch verfügbar).
- Erfahre mehr darüber, wie Google die robots.txt-Datei deiner Website interpretiert.
Deine robots.txt-Datei bearbeiten
Du kannst die robots.txt-Datei deiner Website mit dem Robots.txt-Editor in der SEO- & GEO-Verwaltung deiner Website bearbeiten. Die robots.txt-Datei deiner Website ermöglicht es Suchmaschinen-Bots standardmäßig, auf alle Seiten deiner Website zuzugreifen. Bots können unter bestimmten Bedingungen auf bestimmte Seiten nicht zugreifen:
- Passwortgeschützte Seiten
- Seiten mit Mitgliederzugang
- Seiten, für die du die Indexierung im Editor deiner Website oder in den SEO-Einstellungen deiner Website deaktiviert hast.
Bevor du Änderungen an deiner robots.txt-Datei vornimmst, empfehlen wir dir, die Google-Richtlinien und -Einschränkungen für robots.txt-Dateien durchzulesen.
Wichtig:
Das Bearbeiten der robots.txt-Datei deiner Website kann zu Problemen mit der Anzeige deiner Website-Seiten in den Suchergebnissen führen.
So bearbeitest du deine robots.txt-Datei:
- Öffne den Bereich SEO & LLM-Optimierung in deiner Website-Verwaltung.
- Scrolle nach unten zu Tools und Einstellungen.
- Klicke auf Robots.txt-Editor.
- Klicke auf Datei Anzeigen.
- Füge die Informationen deiner robots.txt-Datei hinzu, indem du die Direktiven unter Dies ist deine aktuelle Datei schreibst.
- Klicke auf Änderungen Speichern.
- Klicke auf Speichern.
Tipp:
- Suchmaschinen aktualisieren die zwischengespeicherte Version deiner robots.txt-Datei, wenn sie deine Website das nächste Mal crawlen.
- Wenn sie schneller aktualisiert werden muss, kannst du versuchen, die URL deiner Startseite bei Suchmaschinen einzureichen.
Deine robots.txt-Datei zurücksetzen
Wenn du die robots.txt-Datei deiner Website geändert hast und sie wieder zurücksetzen möchtest, kannst du sie im Robots.txt-Editor in der SEO- & GEO-Verwaltung deiner Website auf den Standardzustand zurücksetzen.
Um deine robots.txt-Datei zurückzusetzen:
- Öffne den Bereich SEO & LLM-Optimierung in deiner Website-Verwaltung.
- Scrolle nach unten zu Tools und Einstellungen.
- Klicke auf Robots.txt-Editor.
- Klicke auf Datei Anzeigen.
- Klicke auf Auf Standard zurücksetzen.
- Klicke auf Zurücksetzen.
Tipp:
- Suchmaschinen aktualisieren die zwischengespeicherte Version deiner robots.txt-Datei, wenn sie deine Website das nächste Mal crawlen.
- Wenn sie schneller aktualisiert werden muss, kannst du versuchen, die URL deiner Startseite bei Suchmaschinen einzureichen.
Robots.txt-Fehler im Website-Prüftool von Wix oder in der Google Search Console
Möglicherweise werden dir manchmal Fehler wie Blockiert von robots.txt in deinem Bericht des Website-Prüftools von Wix oder in deinem Google-Search-Console-Konto angezeigt.
Wenn du einen solchen Fehler siehst, musst du deine robots.txt-Datei nicht bearbeiten, insbesondere wenn du sie noch nie zuvor bearbeitet hast. Stattdessen solltest du deine Seiten auf die folgenden Einstellungen hin überprüfen:
- Suchmaschinen werden daran gehindert, die Seite zu indexieren:
- Die Seite ist passwortgeschützt.
- Die Seite ist nur für Mitglieder.
Wenn du eine Seite aktualisieren musst, aktualisiert Wix automatisch deine robots.txt-Datei, nachdem du die Seite veröffentlicht hast. Wenn du die Einstellungen deiner Website änderst, wird deine robots.txt-Datei sofort aktualisiert.
Nachdem du eine Änderung vorgenommen hast, aktualisieren Suchmaschinen die zwischengespeicherte Version deiner robots.txt-Datei beim nächsten Crawlen deiner Website. Wenn sie schneller aktualisiert werden muss, kannst du versuchen, deine Startseite bei Suchmaschinen zur Neuindexierung einzureichen.