Редактирование файла Robots.txt вашего сайта
3 мин.
Важно:
Редактирование файла robots.txt является расширенной функцией, и внесение изменений в этот файл может вызвать проблемы с отображением вашего сайта в результатах поиска. Команда сопровождения Wix не может помочь с изменениями, которые вы вносите в файл robots.txt.
Файл robots.txt сообщает поисковым системам, какие страницы вашего сайта следует включать или пропускать в результатах поиска. Поисковые системы проверяют файл robots.txt вашего сайта при сканировании и индексировании вашего сайта. Это не гарантирует, что поисковые системы будут сканировать страницу или файл, но может помочь предотвратить менее точные попытки индексирования.
Если вы хотите повысить точность запросов на сканирование сайта, вы можете отредактировать файл robots.txt.
Если вы хотите повысить точность запросов на сканирование сайта, вы можете отредактировать файл robots.txt.
Совет:
- Вы можете запретить поисковым системам индексирование отдельной страницы в редакторе сайта.
- Вы также можете получить больше контроля над тем, как поисковые системы индексируют страницы вашего сайта, используя метатег robots. Например, можно использовать тег «nofollow», чтобы поисковые системы не переходили по ссылкам на странице. Подробнее о метатеге robots
Общее представление о файле robots.txt
Файл robots.txt содержит инструкции, позволяющие разрешить или запретить определенные запросы от поисковых систем. Команда «разрешить» сообщает сканерам ссылки, по которым они могут переходить, в то время как команда «запретить» сообщает сканерам ссылки, по которым они не могут перейти. Она также включает URL-адрес файла sitemap вашего сайта.
Вы можете просмотреть файл robots.txt своего сайта, добавив «/robots.txt» в корневой домен. Например, https://www.mystunningwebsite.com/robots.txt.
Хотите узнать больше?
- Перейдите на сайт Wix SEO Learning Hub, чтобы прочитать нашу статью о файле robots.txt (на английском языке).
- Подробнее о том, как Google интерпретирует файл robots.txt
Редактирование файла robots.txt
Вы можете отредактировать файл robots.txt в редакторе robots.txt в панели управления SEO и GEO. Файл robots.txt сайта по умолчанию разрешает роботам поисковых систем доступ ко всем страницам вашего сайта. Боты могут не получить доступ к определенным страницам:
- Страницы, защищенные паролем
- Страницы только для пользователей
- Страницы, которые вы запретили индексировать в редакторе сайта или в настройках SEO сайта
Прежде чем вносить изменения в файл robots.txt, мы рекомендуем ознакомиться с рекомендациями и ограничениями Google для файлов robot.txt.
Важно:
Редактирование файла robots.txt может вызвать проблемы с отображением страниц сайта в результатах поиска.
Чтобы отредактировать файл robots.txt:
- Перейдите в раздел SEO и GEO в панели управления сайтом.
- Прокрутите вниз до раздела Инструменты и настройки.
- Нажмите Редактор файла Robots.txt.
- Нажмите Смотреть индекс sitemap.
- Добавьте информацию о файле robots.txt, написав директивы в разделе Это ваш текущий файл.
- Нажмите Сохранить изменения.
- Нажмите Сохранить.
Совет:
- Поисковые системы обновят кешированную версию файла robots.txt при следующем сканировании вашего сайта.
- Если вам нужно обновить его быстрее, попробуйте отправить URL главной страницы в поисковые системы.
Сброс файла robots.txt
Если вы изменили файл robots.txt на сайте и хотите изменить его, вы можете сбросить его до состояния по умолчанию с помощью редактора robots.txt в панели управления SEO и GEO.
Чтобы сбросить файл robots.txt:
- Перейдите в раздел SEO и GEO в панели управления сайтом.
- Прокрутите вниз до раздела Инструменты и настройки.
- Нажмите Редактор файла Robots.txt.
- Нажмите Смотреть индекс sitemap.
- Нажмите Восстановить значения по умолчанию.
- Нажмите Сбросить (Reset).
Совет:
- Поисковые системы обновят кешированную версию файла robots.txt при следующем сканировании вашего сайта.
- Если вам нужно обновить его быстрее, попробуйте отправить URL главной страницы в поисковые системы.
Ошибка robots.txt в инструменте Проверка сайта Wix или Google Search Console
Иногда вы можете видеть ошибки, такие как Заблокировано robots.txt, в отчете проверки сайта Wix или в аккаунте Google Search Console.
Если вы видите такую ошибку, вам не нужно редактировать файл robots.txt, особенно если вы никогда не редактировали его раньше. Вместо этого вам следует проверить свои страницы на наличие следующих настроек:
- Поисковым системам запрещено индексировать страницу в:
- Страница защищена паролем
- Страница только для пользователей
Если вам нужно обновить страницу, Wix автоматически обновит ваш robots.txt после публикации страницы. Если вы измените настройки сайта, файл robots.txt будет обновлен немедленно.
После того, как вы внесете изменения, поисковые системы обновят свою кэшированную версию файла robots.txt при следующем сканировании вашего сайта. Если вам нужно обновить ее раньше, вы можете попробовать отправить главную страницу в поисковые системы для переиндексирования.