サイトの robots.txt ファイルを編集する

robots.txt ファイルは、サイトのどのページを検索結果に含めるか、またはスキップするかを検索エンジンに伝える役割を果たします。検索エンジンは、サイトをクロールしてインデックス登録する際に、この robots.txt ファイルを確認します。これは、検索エンジンが特定のページやファイルをクロールすることを保証するものではありませんが、精度が低いインデックス登録を防ぐのに役立ちます。

サイトへのクロールリクエストをより詳細に制御したい場合は、robots.txt ファイルを編集することができます。

robots.txt ファイルには、検索エンジンからの特定のリクエストを許可または拒否するための指示が含まれています。たとえば、"allow" コマンドはクローラーが辿ることができるリンクを伝え、"disallow" コマンドはクローラーが辿ることができないリンクを伝えます。また、このファイルには、サイトのサイトマップファイルの URL も含まれています。

ルートドメインに「/robots.txt」を追加することで、サイトの robots.txt ファイルを表示できます。
例：https://www.mystunningwebsite.com/robots.txt

SEO・GEO ダッシュボードの robots.txt エディタを使用すると、サイトの robots.txt ファイルを編集することができます。サイトの robots.txt ファイルを使用すると、検索エンジンのボットがデフォルトでサイトのすべてのページにアクセスできるようになります。ただし、以下の場合は、ボットが特定のページにアクセスできないことがあります：

robots.txt ファイルに変更を加える前に、robots.txt ファイルに関する Google のガイドラインと制限事項を確認することをおすすめします。

サイトの robots.txt ファイルに変更を加えた後に元に戻したくなった場合は、SEO・GEO ダッシュボードの robots.txt エディタを使用して、初期設定の状態に戻すことができます。

Wix サイト点検レポートや Google Search Console アカウントでは、「robots.txt によりブロック」などのエラーが表示されることがあります。

このようなエラーが表示された場合、特に以前に編集したことがない場合は、robots.txt ファイルを編集する必要はありません。代わりに、ページの次の設定を確認してください：

ページを更新する必要がある場合、ページを公開した後に Wix が自動的に robots.txt を更新します。サイトの設定を変更すると、robots.txt ファイルもすぐに更新されます。

変更を加えると、検索エンジンが次回サイトをクロールする際に、キャッシュされたバージョンの robots.txt ファイルを更新します。すぐに更新する必要がある場合は、再インデックスのために検索エンジンにトップページの URL を送信することができます。