사이트 Robots.txt 파일 편집하기

Robots.txt 파일은 사이트 페이지를 검색 결과에 포함시킬지 여부를 검색 엔진에 알리는 역할을 합니다. 검색 엔진은 사이트 크롤링 및 색인 생성 시, 사이트의 robots.txt 파일을 확인합니다. 이는 검색 엔진이 페이지 또는 파일을 크롤링하거나 크롤링하지 않는다고 보장할 수는 없지만 색인 생성의 정확도가 떨어지는 것을 방지할 수 있습니다.

사이트에 대한 색인 생성 요청을 더 잘 제어하기 위해 robots.txt 파일을 편집할 수 있습니다. 

Robots.txt 파일에는 검색 엔진의 특정 요청을 허용 또는 거부하기 위한 지침이 포함되어 있습니다. "allow" 명령어는 크롤러에게 팔로우할 수 있는 링크를 알려주고 "disallow" 명령어는 크롤러에게 팔로우할 수 없는 링크를 알려줍니다. 또한, 사이트의 사이트맵 파일의 URL도 포함합니다.

루트 도메인에 "/robots.txt"를 추가하면 사이트의 robots.txt 파일을 확인할 수 있습니다.
예: https://www.mystunningwebsite.com/robots.txt

사이트 SEO 대시보드의 Robots.txt 편집기를 사용해 robots.txt 파일을 편집할 수 있습니다. 사이트의 robots.txt 파일은 기본적으로 검색 엔진 봇이 사이트의 모든 페이지에 액세스할 수 있도록 합니다. 다음과 같은 경우, 봇이 특정 페이지에 액세스하지 못할 수 있습니다. 

Robots.txt 파일을 변경하기 전, robot.txt 파일에 대한 Google의 가이드라인 및 제한 사항을 확인하는 것이 좋습니다.

사이트의 robots.txt 파일을 변경한 후 다시 변경하고 싶다면 사이트 SEO 대시보드의 Robots.txt 편집기를 사용해 파일을 기본 상태로 초기화할 수 있습니다.

Wix 사이트 검사 보고서 또는 Google Search Console 계정에 robots.txt에 의해 차단됨과 같은 오류가 표시될 수 있습니다.

이전에 robots.txt 파일을 편집한 적이 없다면 해당 오류가 표시되는 경우에도 파일을 편집할 필요가 없습니다.대신 페이지에서 다음 설정을 확인하세요.

페이지를 업데이트해야 하는 경우, Wix는 페이지를 게시한 후 자동으로 robots.txt를 업데이트합니다. 사이트 설정을 변경하면 robots.txt 파일이 즉시 업데이트됩니다.

변경 후 검색 엔진은 다음에 사이트를 크롤링할 때 robots.txt 파일의 캐시된 버전을 업데이트합니다. 더 빠른 업데이트가 필요한 경우, 재색인을 위해 검색 엔진에 홈페이지 제출할 수 있습니다.