사이트 Robots.txt 파일 편집하기
3 분
페이지 메뉴
- Robots.txt 파일 이해하기
- Robots.txt 파일 편집하기
- Robots.txt 파일 초기화하기
- Wix 사이트 검사 또는 Google Search Console의 Robots.txt 오류
중요!
Robots.txt 파일 편집은 고급 기능이며, 파일 변경 시에는 사이트가 검색 결과에 표시되는데 문제가 발생할 수 있습니다. Wix 고객지원 팀에서는 robots.txt 파일 변경에 대한 지원을 제공하지 않습니다.
Robots.txt 파일은 사이트 페이지를 검색 결과에 포함시킬지 여부를 검색 엔진에 알리는 역할을 합니다. 검색 엔진은 사이트 크롤링 및 색인 생성 시 사이트의 robots.txt 파일을 확인합니다. 이는 검색 엔진이 페이지 또는 파일을 크롤링하거나 크롤링하지 않는다고 보장할 수는 없지만 색인 생성의 정확도가 떨어지는 것을 방지할 수 있습니다.
사이트에 대한 색인 생성 요청을 더 잘 제어하기 위해 robots.txt 파일을 편집할 수 있습니다.
사이트에 대한 색인 생성 요청을 더 잘 제어하기 위해 robots.txt 파일을 편집할 수 있습니다.
도움말:
- 사이트 에디터에서 검색 엔진이 개별 페이지에 대한 색인을 생성하지 않도록 설정할 수 있습니다.
- 또한, 로봇 메타 태그를 사용해 검색 엔진이 사이트 페이지의 색인을 생성하는 방법을 더 세부적으로 제어할 수 있습니다. 예를 들어, "nofollow" 태그를 사용해 검색 엔진에 페이지의 링크를 팔로우하지 않도록 지시할 수 있습니다. 로봇 메타 태그에 대한 자세한 도움말을 확인하세요.
Robots.txt 파일 이해하기
Robots.txt 파일에는 검색 엔진의 특정 요청을 허용 또는 거부하기 위한 지침이 포함되어 있습니다. "allow" 명령어는 크롤러에게 팔로우할 수 있는 링크를 알려주고 "disallow" 명령어는 크롤러에게 팔로우할 수 없는 링크를 알려줍니다. 여기에는 사이트 사이트맵 파일의 URL 또한 포함됩니다.
루트 도메인에 "/robots.txt"를 추가하면 사이트의 robots.txt 파일을 확인할 수 있습니다.
예: https://www.mystunningwebsite.com/robots.txt
예: https://www.mystunningwebsite.com/robots.txt
더 자세한 정보가 필요하다면:
- Wix SEO Learning Hub로 이동해 robots.txt 파일에 대한 도움말을 참고하세요.
- Google이 사이트의 robots.txt 파일을 해석하는 방법을 확인하세요.
Robots.txt 파일 편집하기
사이트 SEO 및 GEO 대시보드의 Robots.txt 에디터를 사용해 사이트의 robots.txt 파일을 편집할 수 있습니다. 사이트의 robots.txt 파일은 기본적으로 검색 엔진 봇이 사이트의 모든 페이지에 액세스할 수 있도록 합니다. 다음과 같은 경우, 봇이 특정 페이지에 액세스하지 못할 수 있습니다.
- 비밀번호로 보호된 페이지
- 회원 전용 페이지
- 사이트 에디터 또는 사이트 SEO 설정에서 색인 생성을 방지한 페이지
Robots.txt 파일을 변경하기 전, robot.txt 파일에 대한 Google의 가이드라인 및 제한 사항을 확인하는 것이 좋습니다.
중요!
사이트의 robots.txt 파일 편집 시에는 검색 결과에 표시되는 사이트 페이지에 문제가 발생할 수 있습니다.
Robots.txt 파일을 편집하려면:
- 사이트 대시보드의 SEO 및 GEO로 이동합니다.
- 도구 및 설정으로 스크롤합니다.
- Robots.txt 파일 에디터를 클릭합니다.
- 파일 보기를 클릭합니다.
- 내 Robots.txt 파일입니다 아래에 지시문을 작성해 robots.txt 파일 정보를 추가합니다.
- 변경사항 저장을 클릭합니다.
- 저장을 클릭합니다.
도움말:
- 검색 엔진은 다음에 사이트 크롤링 시 robots.txt 파일의 캐시된 버전을 업데이트합니다.
- 더 빠르게 업데이트해야 한다면, 검색 엔진에 홈페이지 URL을 제출할 수 있습니다.
Robots.txt 파일 초기화하기
사이트의 robots.txt 파일을 변경한 후 다시 변경하고자 한다면, 사이트 SEO 및 GEO 대시보드의 Robots.txt 에디터를 사용해 기본 상태로 재설정할 수 있습니다.
Robots.txt 파일을 초기화하려면:
- 사이트 대시보드의 SEO 및 GEO로 이동합니다.
- 도구 및 설정으로 스크롤합니다.
- Robots.txt 파일 에디터를 클릭합니다.
- 파일 보기를 클릭합니다.
- 설정 초기화를 클릭합니다.
- 재설정을 클릭합니다.
도움말:
- 검색 엔진은 다음에 사이트 크롤링 시 robots.txt 파일의 캐시된 버전을 업데이트합니다.
- 더 빠르게 업데이트해야 한다면, 검색 엔진에 홈페이지 URL을 제출할 수 있습니다.
Wix 사이트 검사 또는 Google Search Console의 Robots.txt 오류
Wix 사이트 검사 보고서 또는 Google Search Console 계정에 robots.txt에 의해 차단됨 등과 같은 오류가 표시될 수 있습니다.
이전에 robots.txt 파일을 편집한 적이 없다면 해당 오류가 표시되는 경우에도 파일을 편집할 필요가 없습니다.대신 페이지에서 다음 설정을 확인하세요.
페이지를 업데이트해야 하는 경우, Wix는 페이지를 게시한 후 자동으로 robots.txt를 업데이트합니다. 사이트 설정을 변경하면 robots.txt 파일이 즉시 업데이트됩니다.
변경 후 검색 엔진은 다음에 사이트를 크롤링할 때 robots.txt 파일의 캐시된 버전을 업데이트합니다. 더 빨리 업데이트해야 한다면, 검색 엔진에 홈페이지를 제출해 색인을 다시 생성할 수 있습니다.