사이트에서 AI 크롤러 차단하기 | 도움말 센터

사이트에서 AI 크롤러 차단하기

3 분 분량

페이지 메뉴

Robots.txt 파일을 사용해 AI 크롤러 차단하기
로봇 메타 태그를 사용해 AI 크롤러 차단하기
자주 묻는 질문

사이트에서 AI 크롤러를 차단해 콘텐츠에 액세스하고 사용할 수 있는 사용자를 제어하세요. 이는 자신의 콘텐츠가 승인 없이 LRM(대형 언어 모델)을 학습시키는 데 사용되는 것을 방지하고자 하는 사이트 소유자에게 특히 유용합니다. 예를 들어, 고유한 연구 기사를 가진 사이트 소유자는 AI가 동의 없이 자신의 콘텐츠를 스크랩해 사용하는 것을 원하지 않을 수 있습니다.

Robots.txt 파일을 사용해 AI 크롤러 차단하기

사이트의 Robots.txt 파일에는 검색 엔진의 특정 요청을 허용 또는 거부하기 위한 지침이 포함되어 있습니다. "allow" 명령어는 크롤러에게 팔로우할 수 있는 링크를 알려주고 "disallow" 명령어는 크롤러에게 팔로우할 수 없는 링크를 알려줍니다.

AI 크롤러를 차단하도록 Robots.txt 파일을 설정하려면:

사이트 대시보드의 검색 엔진 최적화(SEO)로 이동합니다.
도구 및 설정 아래에서 Robots.txt 편집기를 선택합니다.
파일 보기를 클릭합니다.
Robots.txt 파일 아래의 입력란을 클릭합니다.
내 Robots.txt 파일입니다 아래에 다음 지시문을 작성해 Robots.txt 파일 정보를 추가합니다.
- User-agent: CCBot
  Disallow: /
- User-agent: GPTBot
  Disallow: /
- User-agent: ChatGPT-User
  Disallow: /
- User-agent: BingAI
  Disallow: /
변경사항 저장을 클릭합니다.
저장을 클릭합니다.