KI-Crawler auf deiner Website blockieren
4 min
In diesem Artikel
- Mit der robots.txt-Datei KI-Crawler blockieren
- KI-Crawler mit Robots-Meta-Tags blockieren
- Häufig gestellte Fragen (FAQ)
Lege fest, wer auf deinen Content zugreifen und ihn verwenden kann, indem du KI-Crawler auf deiner Website blockierst. Dies ist besonders nützlich für Website-Eigentümer, die verhindern möchten, dass ihre Inhalte ohne Erlaubnis zum Training großer Sprachmodelle (LLMs) verwendet werden. Beispielsweise möchte ein Website-Eigentümer mit einzigartigen Rechercheartikeln möglicherweise nicht, dass deren Inhalte von der KI ohne Zustimmung gesammelt und verwendet werden.
Mit der robots.txt-Datei KI-Crawler blockieren
Die robots.txt-Datei deiner Website enthält Anweisungen, um bestimmte Anfragen von Suchmaschinen zuzulassen oder abzulehnen. Der Befehl „allow“ teilt den Crawlern die Links mit, denen sie folgen können, der Befehl „disallow“ teilt den Crawlern die Links mit, denen sie nicht folgen können.
Um die robots.txt-Datei so einzurichten, dass KI-Crawler blockiert werden:
- Öffne den Bereich Suchmaschinenoptimierung (SEO) in deiner Website-Verwaltung.
- Wähle unter Tools und Einstellungen die Option Robots.txt-Editor aus.
- Klicke auf Datei ansehen.
- Klicke auf das Feld unter Deine robots.txt-Datei.
- Füge deine robots.txt-Dateiinformationen hinzu, indem du unter Dies ist deine aktuelle Datei die folgenden Direktiven schreibst:
- User-agent: CCBot
Disallow: / - User-agent: GPTBot
Disallow: / - User-agent: ChatGPT-User
Disallow: / - User-agent: BingAI
Disallow: /
- User-agent: CCBot
- Klicke auf Änderungen Speichern.
- Klicke auf Speichern.
Tipp:
Diese Liste enthält einige bekannte KI-Crawler, aber du kannst bei Bedarf jederzeit weitere hinzufügen.
KI-Crawler mit Robots-Meta-Tags blockieren
Meta-Tags sind Teile von HTML-Code, die Seiteninformationen enthalten, die von Webbrowsern und Suchmaschinen gelesen werden können. Die Konfiguration der Robots-Meta-Tags deiner Website ermöglicht dir für jede Seite Kontrolle darüber, wie der HTML-Code in den Suchergebnissen gecrawlt und indexiert wird.
Meta-Tags verwenden, um KI-Crawler zu blockieren:
Wix Editor
Studio Editor
- Öffne deinen Editor.
- Klicke auf der linken Seite des Editors auf Seiten & Menü
. - Klicke neben der entsprechenden Seite auf das Symbol für Weitere Aktionen
. - Klicke auf SEO-Basics.
- Klicke auf den Tab Erweiterte SEO.
- Klicke auf Robots-Meta-Tag.
- Aktiviere das Kontrollkästchen nosnippet, um zu verhindern, dass der Inhalt deiner Seite als direkter Input für KI-Übersichten verwendet wird.
- Veröffentliche deine Website.
Erfahre mehr über Robots-Meta-Tags von Google.
Häufig gestellte Fragen (FAQ)
Klicke unten auf eine Frage, um mehr über das Blockieren von KI-Crawlern auf deiner Website zu erfahren.
Kann ich alle Crawler blockieren?
Gibt es eine Möglichkeit, nicht autorisierte Crawler vollständig zu blockieren?
Beeinflusst das Blockieren von Crawlern meine SEO?
Woher weiß ich, welche Crawler blockiert werden sollen?