검색 엔진, 로봇 이름
·
조회수 6
robots.txt 작성시 참고해야 하는 검색엔진의 로봇 이름입니다.
여기에 기재된 로봇 이외에 들으면 알수 있는 잘 알려진 업체의 로봇도 있는데 악성 트래픽을 유발할 수도 있어 제외시켰습니다.
Googlebot: Google 검색엔진의 크롤러
Naverbot/Yeti: Naver 검색엔진의 크롤러(Yeti만 사용해줘도 된다)
Daumoa: Daum 검색엔진의 크롤러
Bingbot: Bing 검색엔진의 크롤러
Zumbot: Zum 검색엔진의 크롤러
Yandex: Yandex 검색엔진의 크롤러
Slurp: Yahoo! 검색엔진의 크롤러