Блокировка ИИ-ботов на сайте

Контролируйте, кто может получать доступ к контенту и использовать его, блокируя ИИ-ботов на сайте. Это особенно полезно для владельцев сайтов, которые хотят предотвратить использование своего контента для обучения больших языковых моделей (Large language models) без разрешения. Например, владелец сайта с уникальными исследовательскими статьями может не захотеть, чтобы его контент сканировался и использовался ИИ без согласия.

Блокировка ИИ-ботов с помощью файла robots.txt

Файл robots.txt вашего сайта содержит инструкции, разрешающие или запрещающие определенные запросы от поисковых систем. Команда «allow» сообщает ботам, по каким ссылкам они могут переходить, а команда «disallow» — по каким ссылкам переходить нельзя.

Чтобы настроить файл robots.txt для блокировки ИИ-ботов:

Перейдите в раздел SEO и GEO в панели управления сайта.
Прокрутите вниз до раздела Инструменты и настройки.
Нажмите Редактор файла robots.txt.
Нажмите Посмотреть файл.
Нажмите на поле под заголовком Ваш файл robots.txt.
Добавьте информацию в файл robots.txt, прописав следующие директивы под строкой Это ваш текущий файл:
- User-agent: CCBot
  Disallow: /
- User-agent: GPTBot
  Disallow: /
- User-agent: ChatGPT-User
  Disallow: /
- User-agent: BingAI
  Disallow: /
Нажмите Сохранить изменения.
Нажмите Сохранить.

Совет:

Этот список включает некоторых известных ИИ-ботов, но вы всегда можете добавить новых при необходимости.

Использование метатегов robots для блокировки ИИ-ботов

Метатеги — это фрагменты HTML-кода, содержащие информацию о странице, которую могут считывать веб-браузеры и поисковые системы. Настройка метатегов robots позволяет управлять сканированием и индексированием HTML-кода конкретных страниц в результатах поиска.

Чтобы использовать метатеги для блокировки ИИ-ботов:

редактор Wix

Редактор Studio

Перейдите в редактор.
Нажмите Страницы и меню слева в редакторе.
Нажмите на иконку Другие действия рядом с нужной страницей.
Нажмите Базовая SEO.
Перейдите на вкладку Расширенный SEO.
Нажмите Метатег robots.
Установите флажок nosnippet, чтобы контент вашей страницы не использовался в качестве прямых данных для обзоров ИИ.