noindex , nofollow
- noindex: 검색엔진 결과에 표시하지 않음
- 검색결과에 이 페이지, 미디어 또는 리소스를 표시하지 않습니다. 이 규칙을 지정하지 않으면 페이지, 미디어 또는 리소스가 색인 생성되어 검색결과에 표시될 수 있습니다.
- nofollow: 검색엔진봇이 페이지의 링크를 수집하지 않음
- 이 페이지의 링크를 따라가지 않습니다. 이 규칙을 지정하지 않으면 Google에서는 페이지의 링크를 사용하여 링크된 페이지를 검색할 수 있습니다.
- meta tag로 선언해서 사용
- <meta name="robots" content="noindex"> // 모든 검색엔진 봇
- <meta name="googlebot" content="noindex"> //특정 검색엔진 봇
- <meta name="robots" content="nofollow"> // 페이지 속의 링크를 수집하지 않음
- <meta name="robots" content="index,nofollow"> // 한번에 지정하는 방법
- <meta name="robots" content="noindex"> // noindex와 nofollow 동시 지정
<meta name="robots" content="nofollow">
- http response header
- X-Robots-Tag: noindex
- 구글은 지원함.
- 네이버는 지원 안하는 것 같음.
- 효과
- Googlebot이 페이지를 크롤링할 때 noindex 태그나 헤더를 추출하면 다른 사이트가 페이지에 연결되어 있는지와 관계없이 페이지 전체를 Google 검색결과에서 제외합니다.
- 네이버 설명
- 구글 설명
구글에서의 주의 사항
중요: noindex 규칙이 효과적으로 작동하려면 페이지 또는 리소스가 robots.txt 파일로 차단되어서는 안 되며 크롤러에서 페이지에 액세스할 수 있어야 합니다. robots.txt 파일로 페이지가 차단되거나 크롤러가 페이지에 액세스할 수 없다면 크롤러는 noindex 규칙을 절대 확인하지 않으며 페이지가 검색결과에 계속 표시될 수 있습니다(예: 다른 페이지에 링크되어 있는 경우).
