Редактирование файла Robots.txt вашего сайта
3 мин.
Важно:
Редактирование файла robots.txt является расширенной функцией, и внесение изменений в этот файл может вызвать проблемы с отображением вашего сайта в результатах поиска. Команда сопровождения Wix не может помочь с изменениями, которые вы вносите в файл robots.txt.
Файл robots.txt сообщает поисковым системам, какие страницы вашего сайта следует включать или пропускать в результатах поиска. Поисковые системы проверяют файл robots.txt вашего сайта при сканировании и индексировании вашего сайта. Это не гарантирует, что поисковые системы будут сканировать страницу или файл, но может помочь предотвратить менее точные попытки индексирования.
Если вы хотите повысить точность запросов на сканирование сайта, вы можете отредактировать файл robots.txt.
Если вы хотите повысить точность запросов на сканирование сайта, вы можете отредактировать файл robots.txt.
Совет:
- В редакторе сайта вы можете запретить поисковым системам индексирование отдельной страницы. Узнайте как это сделать в редакторе и Editor X.
- Вы также можете получить больше контроля над тем, как поисковые системы индексируют страницы вашего сайта, используя метатег robots. Например, можно использовать тег «nofollow», чтобы поисковые системы не переходили по ссылкам на странице. Подробнее о метатеге robots
Содержание:
Общее представление о файле robots.txt
Файл robots.txt содержит инструкции, позволяющие разрешить или запретить определенные запросы от поисковых систем. Команда «разрешить» сообщает сканерам ссылки, по которым они могут переходить, в то время как команда «запретить» сообщает сканерам ссылки, по которым они не могут перейти. Он также включает URL-адрес файла карты сайта.
Вы можете просмотреть файл robots.txt своего сайта, добавив «/robots.txt» в корневой домен. Например, https://www.mystunningwebsite.com/robots.txt.
Хотите узнать больше?
- Перейдите на сайт Wix SEO Learning Hub, чтобы прочитать нашу статью о файле robots.txt (на английском языке).
- Подробнее о том, как Google интерпретирует файл robots.txt
Редактирование файла robots.txt
Вы можете отредактировать файл robots.txt своего сайта с помощью редактора Robots.txt в панели SEO вашего сайта. Файл robots.txt сайта по умолчанию разрешает роботам поисковых систем доступ ко всем страницам вашего сайта. Боты могут не получить доступ к определенным страницам:
- Страницы, защищенные паролем
- Страницы только для пользователей
- Страницы, для которых вы запретили индексирование в редакторе сайта или в Настройках SEO сайта
Прежде чем вносить изменения в файл robots.txt, мы рекомендуем ознакомиться с рекомендациями и ограничениями Google для файлов robot.txt.
Важно:
Редактирование файла robots.txt может вызвать проблемы с отображением страниц сайта в результатах поиска.
Чтобы отредактировать файл robots.txt:
- Перейдите в панель управления SEO.
- Выберите Перейти в редактор Robots.txt в разделе Инструменты и настройки.
- Нажмите Смотреть индекс sitemap.
- Добавьте информацию о файле robots.txt, написав директивы в разделе Это ваш текущий файл.
- Нажмите Сохранить изменения.
- Нажмите Сохранить.
Совет:
- Поисковые системы обновят кешированную версию файла robots.txt при следующем сканировании вашего сайта.
- Если вам нужно обновить его быстрее, вы можете попробовать отправить URL-адрес своей домашней страницы в поисковые системы.
Сброс файла robots.txt
Если вы изменили файл robots.txt на своем сайте и хотите вернуть его обратно, вы можете сбросить его до состояния по умолчанию с помощью редактора Robots.txt в панели управления SEO вашего сайта.
Чтобы сбросить файл robots.txt:
- Перейдите в панель управления SEO.
- Выберите Перейти в редактор Robots.txt в разделе Инструменты и настройки.
- Нажмите Смотреть индекс sitemap.
- Нажмите Восстановить значения по умолчанию.
- Нажмите Сбросить (Reset).
Совет:
- Поисковые системы обновят кешированную версию файла robots.txt при следующем сканировании вашего сайта.
- Если вам нужно обновить его быстрее, вы можете попробовать отправить URL-адрес своей домашней страницы в поисковые системы.
Ошибка robots.txt в инструменте Проверка сайта Wix или Google Search Console
Иногда вы можете видеть ошибки, такие как Заблокировано файлом robots.txt в отчете Проверки сайта Wix или в аккаунте Google Search Console.
Если вы видите такую ошибку, вам не нужно редактировать файл robots.txt, особенно если вы никогда не редактировали его раньше. Вместо этого вам следует проверить свои страницы на наличие следующих настроек:
- Поисковым системам запрещено индексировать страницу в:
- Страница защищена паролем
- Страница предназначена только для пользователей
Если вам нужно обновить страницу, Wix автоматически обновит ваш robots.txt после публикации страницы. Если вы измените настройки сайта, файл robots.txt будет обновлен немедленно.
После того, как вы внесете изменения, поисковые системы обновят свою кэшированную версию файла robots.txt при следующем сканировании вашего сайта. Если вам нужно обновить его раньше, вы можете попробовать отправить свою домашнюю страницу в поисковые системы для переиндексации.