サイトの robots.txt ファイルを編集する

robots.txt ファイルは、サイトのどのページを検索結果に含めるか、スキップするかを検索エンジンに指示します。検索エンジンはサイトをクロールしてインデックスする際に、サイトの robots.txt ファイルを確認します。これは、検索エンジンがページやファイルをクロールするかしないかを保証するものではありませんが、インデックス登録の精度が低下するのを防ぐことができます。

サイトへのクロールリクエストをより適切に管理したい場合は、robots.txt ファイルを編集することができます。

robots.txt ファイルには、検索エンジンからの特定のリクエストを許可または拒否する手順が含まれています。"allow" コマンドはクローラにフォローできるリンクを通知し、"disallow" コマンドはクローラにフォローできないリンクを通知します。サイトのサイトマップファイルの URL も含まれます。

ルートドメインに「/robots.txt」を追加することで、サイトの robots.txt ファイルを表示できます。
例：https://www.mystunningwebsite.com/robots.txt

サイトの SEO ダッシュボードにある robots.txt エディタを使用して、サイトの robots.txt ファイルを編集することができます。サイトの robots.txt ファイルを使用すると、検索エンジンのボットはデフォルトでサイトのすべてのページにアクセスできます。以下の場合、ボットは特定のページにアクセスできないことがあります：

robots.txt ファイルに変更を加える前に、robots.txt ファイルに関する Google のガイドラインと制限事項を確認することをおすすめします。

サイトの robots.txt ファイルを変更したが、元に戻したい場合は、サイトの SEO ダッシュボードの robots.txt エディタを使用して、初期設定の状態に戻すことができます。

Wix サイト点検のレポートや Google Search Console アカウントで「robots.txt によりブロック」などのエラーが表示される場合があります。

このようなエラーが表示された場合、特に以前に編集したことがない場合は、robots.txt ファイルを編集する必要はありません。代わりに、ページの次の設定を確認してください：

ページを更新する必要がある場合、ページを公開した後に Wix が自動的に robots.txt を更新します。サイトの設定を変更すると、robots.txt ファイルもすぐに更新されます。

変更を加えた後、検索エンジンは、次回サイトをクロールする際に、キャッシュされたバージョンの robots.txt ファイルを更新します。すぐに更新する必要がある場合は、再インデックスのためにトップページを検索エンジンに送信することができます。