read : 검색엔진 로봇의 크롤링 제어 - robots.txt : 기술 #robots #seo::공대여자홈

검색엔진 로봇의 크롤링 제어 - robots.txt

작성자 공대여자

작성 : 2024-12-11 09:44 조회 : 28
지남 1일간

2024-12-11 - 2024-12-11

좌표
첨부된 파일이 없습니다.

#robots #seo

robots.txt

URL의 루트 경로에 위치

https://aaa.com:9999/robots.txt

사이트에 대한 로봇의 수집 허용 여부를 설정
네이버의 robots.txt 설명: https://searchadvisor.naver.com/guide/seo-basic-robots
구글의 robots.txt 설명

Robots.txt 소개: https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko
robots.txt 파일 작성 및 제출 방법: https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=ko

기본 모양

User-agent: Googlebot // 구글봇에 대해서

Disallow: /nogooglebot/ // /nogooglebot/ 부터 크롤링 금지

User-agent: * // 모든 봇은

Allow: / // 모든 페이지 크롤링 가능

Sitemap: https://www.example.com/sitemap.xml

특이 모양

Allow: /$ // 루트만 허용한다.

Disallow: /aaa*/ // /aaab/, /aaa-b/, /aaabcde/ 등으로 aaa 로 직하는 경로를 거부한다

주의

구글의 경우 robots.txt로 막혀서 URL은 수집될 수 있음!

경고: robots.txt 파일을 Google 검색결과에서 웹페이지를 숨기는 수단으로 사용하지 마세요.

다른 페이지 내의 설명 텍스트에서 내 페이지를 가리키는 경우 Google은 페이지를 방문하지 않고도 URL의 색인을 생성할 수 있습니다. 검색결과에 페이지가 표시되지 않도록 하려면 비밀번호 보호나 noindex 등 다른 방법을 사용하세요.

/ /
No Nickname

No Comment
권한이 없습니다.

{{m_row.m_nick}}

내용이 너무 많습니다!

-

No	제목	작성자	날짜	조회
공지	[기본형] HTML (with 부트스트랩5.3 , jquery 3.7, vue.js) #기본형	공대여자	24-02-0602-06	17101
공지	유용한 리눅스(LINUX) 명령어 #linux #command	공대여자	11-03-0303-03	27542
공지	[공지] 기술 게시판 #etc #공지	mins01	05-06-2406-24	27486
1669	vscode 에서 코파일럿 테스트 일반 질문 new #ai #copilot	공대여자	24-12-2012-20	12
1668	vscode 에서 코파일럿 테스트 new #ai #copilot	공대여자	24-12-2012-20	13
1667	showPicker(). input 이나 select의 선택시 픽커 보이게 하는 메소드 new 1 #showpicker	공대여자	24-12-1712-17	16
1666	HTML Element 상속 후 element 등록하는 방법 new #js #element #extends	공대여자	24-12-1712-17	11
1665	canvas의 width와 height 의 setter를 wrap 처리 하는 방법 new #getownpropertydescriptor	공대여자	24-12-1612-16	12
1664	pixijs 2D WebGL renderer new 1 #2d #webgl	공대여자	24-12-1612-16	13
1663	js 의 setCustomValidity 사용한 비번 체크 new #js #form #validation	공대여자	24-12-1612-16	9
1662	JS에서 시간 출력 new 1 #js #date #format	공대여자	24-12-1612-16	11
1661	검색엔진 인덱스 제어하기 - noindex , nofollow #noindex #seo #nofollow	공대여자	24-12-1112-11	32
1660	검색엔진 로봇의 크롤링 제어 - robots.txt #robots #seo	공대여자	24-12-1112-11	29
1659	ui_booklet e-book 1 #booklet #ebook #ui	공대여자	24-12-0612-06	37
1658	한국어 조사 처리 관련 1 #한국어 #조사	공대여자	24-11-0811-08	95
1657	form to Json, FormData to Json #form #formdata #js	공대여자	24-10-2810-28	104
1656	수직 중앙 정렬하는 방법 How to center vertical alignment 1 #vertical-align	공대여자	24-10-2510-25	106
1655	javascript string normalize() NFC, NFD, 정준 분해, 정준 결함, 유니코드 정규화 방식 2 #javascript #normalize #조합형 #완성형	공대여자	24-10-0410-04	247