Die robots.txt-Datei Deiner Website Bearbeiten
4 Min. Lesezeit
Wichtig:
Die Bearbeitung deiner robots.txt-Datei ist eine erweiterte Funktion. Änderungen an dieser Datei können zu Problemen mit deiner Website in den Suchergebnissen führen. Das Support-Team von Wix kann dir nicht bei allen Änderungen helfen, die du an deiner robots.txt-Datei vornimmst.
Eine robots.txt-Datei teilt den Suchmaschinen mit, welche Seiten deiner Website sie in den Suchergebnissen aufnehmen oder überspringen sollen. Suchmaschinen überprüfen die robots.txt-Datei deiner Website, wenn sie deine Website crawlen und indexieren. Dies garantiert nicht, dass Suchmaschinen eine Seite oder Datei crawlen oder nicht, aber es kann dazu beitragen, ungenauere Indexierungsversuche zu verhindern.
Wenn du Crawl-Anfragen an deine Website besser kontrollieren möchtest, kannst du deine robots.txt-Datei bearbeiten.
Wenn du Crawl-Anfragen an deine Website besser kontrollieren möchtest, kannst du deine robots.txt-Datei bearbeiten.
Tipp:
- Du kannst im Editor deiner Website verhindern, dass Suchmaschinen eine einzelne Seite indexieren. So geht's im Editor und im Editor X.
- Mit dem Robots-Meta-Tag kannst du auch mehr Kontrolle darüber erhalten, wie Suchmaschinen die Seiten deiner Website indexieren. Du kannst zum Beispiel ein „nofollow“-Tag verwenden, um Suchmaschinen mitzuteilen, dass sie keinen Links auf einer Seite folgen sollen. Mehr über das Robots-Meta-Tag erfahren
In diesem Artikel erfährst du mehr über folgende Themen:
Deine robots.txt-Datei verstehen
Die robots.txt-Datei enthält Anweisungen zum Zulassen oder Ablehnen bestimmter Anfragen von Suchmaschinen. Der Befehl „allow“ teilt den Crawlern die Links mit, denen sie folgen können, während der Befehl „disallow“ den Crawlern die Links mitteilt, denen sie nicht folgen können. Sie enthält auch die URL der Sitemap-Datei deiner Website.
Du kannst die robots.txt-Datei deiner Website anzeigen, indem du „/robots.txt“ zu deiner Root-Domain hinzufügst. Ein Beispiel wäre: https://www.meinewebsite.com/robots.txt.
Möchtest du mehr erfahren?
- Öffne den SEO Learning Hub von Wix, um unseren Artikel über die robots.txt-Datei zu lesen (Artikel nur auf Englisch verfügbar).
- Erfahre mehr darüber, wie Google die robots.txt-Datei deiner Website interpretiert.
Deine robots.txt-Datei bearbeiten
Du kannst die robots.txt-Datei deiner Website mit dem Robots.txt-Editor in der SEO-Verwaltung deiner Website bearbeiten. Die robots.txt-Datei deiner Website ermöglicht Suchmaschinen-Bots standardmäßig den Zugriff auf alle Seiten deiner Website. Bots können möglicherweise nicht auf folgende bestimmte Seiten zugreifen:
- Passwortgeschützte Seiten
- Seiten mit Mitgliederzugang
- Seiten, für die du die Indexierung im Editor deiner Website oder in den SEO-Einstellungen deiner Website deaktiviert hast
Bevor du Änderungen an deiner robots.txt-Datei vornimmst, empfehlen wir dir, die Google-Richtlinien und -Einschränkungen für robots.txt-Dateien durchzulesen.
Wichtig:
Das Bearbeiten der robots.txt-Datei deiner Website kann zu Problemen mit der Anzeige deiner Website-Seiten in den Suchergebnissen führen.
So bearbeitest du deine robots.txt-Datei:
- Öffne deine SEO-Verwaltung.
- Wähle unter Tools und Einstellungen die Option Robots.txt-Editor öffnen.
- Klicke auf Datei Anzeigen.
- Füge die Informationen deiner robots.txt-Datei hinzu, indem du die Direktiven unter Dies ist deine aktuelle Datei schreibst.
- Klicke auf Änderungen Speichern.
- Klicke auf Speichern.
Tipp:
- Suchmaschinen aktualisieren die zwischengespeicherte Version deiner robots.txt-Datei, wenn sie deine Website das nächste Mal crawlen.
- Wenn du sie schneller aktualisieren musst, kannst du versuchen, die URL deiner Startseite bei Suchmaschinen einzureichen.
Deine robots.txt-Datei zurücksetzen
Wenn du die robots.txt-Datei deiner Website geändert hast und sie wieder zurück ändern möchtest, kannst du sie mit dem Robots.txt-Editor in der SEO-Verwaltung deiner Website auf den Standardzustand zurücksetzen.
Um deine robots.txt-Datei zurückzusetzen:
- Öffne deine SEO-Verwaltung.
- Wähle unter Tools und Einstellungen die Option Robots.txt-Editor öffnen.
- Klicke auf Datei Anzeigen.
- Klicke auf Auf Standard zurücksetzen.
- Klicke auf Zurücksetzen.
Tipp:
- Suchmaschinen aktualisieren die zwischengespeicherte Version deiner robots.txt-Datei, wenn sie deine Website das nächste Mal crawlen.
- Wenn du sie schneller aktualisieren musst, kannst du versuchen, die URL deiner Startseite bei Suchmaschinen einzureichen.
Robots.txt-Fehler im Website-Prüftool von Wix oder in der Google Search Console
Möglicherweise siehst du manchmal Fehler wie Blockiert von robots.txt in deinem Bericht des Website-Prüftools von Wix oder in deinem Google-Search-Console-Konto.
Wenn du einen solchen Fehler siehst, musst du deine robots.txt-Datei nicht bearbeiten, insbesondere wenn du sie noch nie zuvor bearbeitet hast. Stattdessen solltest du deine Seiten auf die folgenden Einstellungen hin überprüfen:
- Suchmaschinen werden daran gehindert, die Seite zu indexieren:
- Die Seite ist passwortgeschützt
- Die Seite ist nur für Mitglieder zugänglich
Wenn du eine Seite aktualisieren musst, aktualisiert Wix automatisch deine robots.txt-Datei, nachdem du die Seite veröffentlicht hast. Wenn du die Einstellungen deiner Website änderst, wird deine robots.txt-Datei sofort aktualisiert.
Nachdem du eine Änderung vorgenommen hast, aktualisieren Suchmaschinen die zwischengespeicherte Version deiner robots.txt-Datei, wenn sie deine Website das nächste Mal crawlen. Wenn du sie früher aktualisieren musst, kannst du versuchen, deine Startseite zur Neuindexierung bei Suchmaschinen einzureichen.
War das hilfreich?
|