웹서비스 robot.txt human.txt

웹서비스에서 web crawler 같은 로봇들의 활동을 제어하는 방안으로 robot.txt 을 루르 경로에 만들어 두고 사용한다.(권고 사항으로 강제되지는 않는다)

예)

https://www.google.com/robots.txt

http://search.naver.com/robots.txt

http://search.daum.net/robots.txt

robot.txt 과 같은 방법으로 웹서비스에 기여한 사람들을 human.txt 파일로 만들어 두기도 한다.

형식은 http://humanstxt.org/Standard.html

예)

https://www.google.com/humans.txt

https://search.naver.com/humans.txt