로봇 배제 표준 (Robots exclusion standard) 웹사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로 일반적으로 로봇의 접근을 제한하는 내용을 robots.txt 파일에 기술되어 있다. (웹사이트 URL 주소) /robots.txt User-agent : * (모든 로봇) , User-agent : bingbot (bingbot이라는 이름의 로봇) Disallow : / (모든 경로 불허) Allow : /$ (최상위 경로 허가) User-agent : bingbot Disallow : / bingbot은 모든 경로를 크롤링하는 행위를 허락하지 않는다. User-agent : * Disallow : /owner 모든 로봇은 /owner 경로를 크롤링하는 행위를 허락하지 않는다. Use..