サイトから AI クローラをブロックする
この記事内
- robots.txt ファイルを使用して AI クローラをブロックする
- Robots メタタグを使用して AI クローラをブロックする
- よくある質問
サイトから AI クローラをブロックして、コンテンツにアクセスして使用できるユーザーを制御します。これは特にサイト所有者にとって、サイトのコンテンツが許可なしに大規模言語モデル（LLM）のトレーニングに使用されるのを防ぐに便利です。たとえば、独自のリサーチ記事のサイト所有者は、同意なしで AI にコンテンツを抽出され、使用されることを望まない可能性があります。
robots.txt ファイルを使用して AI クローラをブロックする
サイトの robots.txt ファイルには、検索エンジンからの特定のリクエストを許可または無効にするための手順が含まれています。「allow」コマンドは、クローラが追跡できるリンクを通知し、「disallow」コマンドは、クローラが追跡できないリンクを通知します。
robots.txt ファイルで AI クローラをブロックするように設定する方法：
- サイトダッシュボードの 「SEO・GEO」にアクセスします。
- 「ツールと設定」までスクロールダウンします。
- 「robots.txt エディタ 」をクリックします。
- 「ファイルを表示」をクリックします。
- 「あなたの robots.txt ファイル」下のフィールドをクリックします。
- 「現在のファイル」下に以下のディレクティブを入力して、robots.txt ファイル情報を追加します：
- User-agent: CCBot
Disallow: / - User-agent: GPTBot
Disallow: / - User-agent: ChatGPT-User
Disallow: / - User-agent: BingAI
Disallow: /
- User-agent: CCBot
- 「変更内容を保存」をクリックします。
- 「保存」をクリックします。
ヒント：
このリストには既知の AI クローラも含まれていますが、必要に応じてさらに追加することもできます。
Robots メタタグを使用して AI クローラをブロックする
メタタグは、ウェブブラウザや検索エンジンが読み込めるページ情報を含む HTML コードです。サイトのrobots メタタグを設定すると、検索結果での HTML のクロールとインデックス方法をページ固有に制御することができます。
メタタグを使用して AI クローラをブロックする方法：
Wix エディタ
Wix Studio エディタ
- エディタにアクセスします。
- エディタ左側で「ページ・メニュー」
をクリックします。 - 該当するページの横にある「その他のアクション」アイコン
をクリックします。 - 「SEO ベーシック」をクリックします。
- 「SEO 詳細設定」タブをクリックします。
- 「Robots メタタグ」をクリックします。
- nosnippetチェックボックスを選択すると、ページのコンテンツが AI 概要への直接入力として使用されないようにします。
- サイトを公開します。
よくある質問
サイトから AI クローラをブロックする方法については、以下の質問をクリックしてください。
すべてのクローラをブロックすることはできますか？
不正なクローラを完全にブロックする方法はありますか？
クローラをブロックすると SEO に影響しますか？
ブロックすべきクローラを確認するにはどうすればよいですか？
AI クローラをブロックしても NLWeb を使用することはできますか？