|
|
|
robots.txt
|
운영초기부터 홈페이지의 거의 모든 페이지에 로봇검색거부 메타태그를 걸어두었기 때문에 검색로봇관련 부분은 아예 신경을 안 쓰고 있었습니다만, 최근에 사이트맵관련 업데이트를 하면서 robots.txt에 관련 기록을 할 수 있었기에 관심을 가져봤습니다.
뭐 말이 관심이지 이건 워낙 단순해서;
root의 robots.txt는 계정 내의 파일 및 디렉토리에 검색로봇이 접근하는 권한을 정해줍니다.
물론 robots.txt는 제가 알기로 의무는 아닙니다만 대부분의 검색로봇이 이를 받아들이고 있습니다. 그래서 요전에 국내 모 포탈사이트가 검색거부태그를 무시한다고 했다가 논란이 있었던 것 같기도 했더군요.
파일 내에 쓸 수 있는 구문은
사이트맵 파일
Sitemap: 주소
접근을 허용하는 검색로봇 종류
User-agent:
접근 거부하는 디렉토리 및 파일
Disallow:/디렉토리명/
Disallow:/파일명 등
접근 허용하는 디렉토리 및 파일
Allow:/디렉토리 및 파일명 등
뭐 크게 이 정도인 것 같더군요.
http://www.robotstxt.org/ 를 참조하면 관련 정보를 더 얻을 수 있는 것 같지만 귀찮아서 전 안 읽어봤습니다(...)
참고로 robots.txt 등에 명시된 사이트 구조는 역으로 해킹등에 이용되는 등 보안 상의 취약점이 될 수도 있습니다.
|
|
猫愛 - MyoAe - Homepage Mode
Ver. 1.45
by Aierse | |
|