Редактирование файла Robots.txt вашего сайта

3 мин. чтения
Важно:
Редактирование файла robots.txt является расширенной функцией, и внесение изменений в этот файл может вызвать проблемы с отображением вашего сайта в результатах поиска. Команда сопровождения Wix не может помочь с изменениями, которые вы вносите в файл robots.txt.
Файл robots.txt сообщает поисковым системам, какие страницы вашего сайта следует включать или пропускать в результатах поиска. Поисковые системы проверяют файл robots.txt вашего сайта при сканировании и индексировании вашего сайта. Это не гарантирует, что поисковые системы будут сканировать страницу или файл, но может помочь предотвратить менее точные попытки индексирования.

Если вы хотите повысить точность запросов на сканирование сайта, вы можете отредактировать файл robots.txt.
Совет:
  • В редакторе сайта вы можете запретить поисковым системам индексирование отдельной страницы. Узнайте как это сделать в редакторе и Editor X.
  • Вы также можете получить больше контроля над тем, как поисковые системы индексируют страницы вашего сайта, используя метатег robots. Например, можно использовать тег «nofollow», чтобы поисковые системы не переходили по ссылкам на странице. Подробнее о метатеге robots
Содержание:

Общее представление о файле robots.txt

Файл robots.txt содержит инструкции, позволяющие разрешить или запретить определенные запросы от поисковых систем. Команда «разрешить» сообщает сканерам ссылки, по которым они могут переходить, в то время как команда «запретить» сообщает сканерам ссылки, по которым они не могут перейти. Он также включает URL-адрес файла карты сайта.
Вы можете просмотреть файл robots.txt своего сайта, добавив «/robots.txt» в корневой домен. Например, https://www.mystunningwebsite.com/robots.txt
Пример файла robots txt
Хотите узнать больше?

Редактирование файла robots.txt

Вы можете отредактировать файл robots.txt своего сайта с помощью редактора Robots.txt в панели SEO вашего сайта. Файл robots.txt сайта по умолчанию разрешает роботам поисковых систем доступ ко всем страницам вашего сайта. Боты могут не получить доступ к определенным страницам: 
Прежде чем вносить изменения в файл robots.txt, мы рекомендуем ознакомиться с рекомендациями и ограничениями Google для файлов robot.txt.
Важно:
Редактирование файла robots.txt может вызвать проблемы с отображением страниц сайта в результатах поиска. 

Чтобы отредактировать файл robots.txt:

  1. Перейдите в панель управления SEO.
  2. Выберите Перейти в редактор Robots.txt в разделе Инструменты и настройки.
  3. Нажмите Смотреть индекс sitemap.
  4. Добавьте информацию о файле robots.txt, написав директивы в разделе Это ваш текущий файл.
Редактирование файла robots.txt
  1. Нажмите Сохранить изменения
  2. Нажмите Сохранить.
Совет:

Сброс файла robots.txt

Если вы изменили файл robots.txt на своем сайте и хотите вернуть его обратно, вы можете сбросить его до состояния по умолчанию с помощью редактора Robots.txt в панели управления SEO вашего сайта.

Чтобы сбросить файл robots.txt:

  1. Перейдите в панель управления SEO.
  2. Выберите Перейти в редактор Robots.txt в разделе Инструменты и настройки.
  3. Нажмите Смотреть индекс sitemap.
  4. Нажмите Восстановить значения по умолчанию.
Восстановление файла robots.txt по умолчанию
  1. Нажмите Сбросить (Reset).
Совет:

Ошибка robots.txt в инструменте Проверка сайта Wix или Google Search Console

Иногда вы можете видеть ошибки, такие как Заблокировано файлом robots.txt в отчете Проверки сайта Wix или в аккаунте Google Search Console
Если вы видите такую ошибку, вам не нужно редактировать файл robots.txt, особенно если вы никогда не редактировали его раньше. Вместо этого вам следует проверить свои страницы на наличие следующих настроек:
Если вам нужно обновить страницу, Wix автоматически обновит ваш robots.txt после публикации страницы. Если вы измените настройки сайта, файл robots.txt будет обновлен немедленно.
После того, как вы внесете изменения, поисковые системы обновят свою кэшированную версию файла robots.txt при следующем сканировании вашего сайта. Если вам нужно обновить его раньше, вы можете попробовать отправить свою домашнюю страницу в поисковые системы для переиндексации.

Была ли статья полезна?

|