サイトから AI クローラをブロックする

サイトから AI クローラをブロックして、コンテンツにアクセスして使用できるユーザーを制御します。これは特にサイト所有者にとって、サイトのコンテンツが許可なしに大規模言語モデル（LLM）のトレーニングに使用されるのを防ぐに便利です。たとえば、独自のリサーチ記事のサイト所有者は、同意なしで AI にコンテンツを抽出され、使用されることを望まない可能性があります。

サイトの robots.txt ファイルには、検索エンジンからの特定のリクエストを許可または無効にするための手順が含まれています。「allow」コマンドは、クローラが追跡できるリンクを通知し、「disallow」コマンドは、クローラが追跡できないリンクを通知します。

メタタグは、ウェブブラウザや検索エンジンが読み込めるページ情報を含む HTML コードです。サイトのrobots メタタグを設定すると、検索結果での HTML のクロールとインデックス方法をページ固有に制御することができます。

サイトから AI クローラをブロックする方法については、以下の質問をクリックしてください。