검색 로봇 목록

누리집 트래픽을 잡아먹는 검색 로봇 (웹 크롤러) 목록이다. 외국 것은 구글이나 야후 등을 빼곤 영양가가 없으니 robots.txt를 써서 차단하는 게 좋다. 특히 Twiceler는 영양가는 없으면서 접속량만 많으니 차단은 필수. 새 로봇을 발견하는 대로 계속 추가할 예정이다.

DAUMOA-web (http://ws.daum.net/aboutkr.html)
DAUMOA-site
DAUMOA-video
Daumoa/2.0
NaverBot/1.0 (http://help.naver.com/delete_main.asp)
Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follow it)
Yeti/1.0 (http://help.naver.com/robots/)
Yahoo! Slurp (http://help.yahoo.com/help/us/ysearch/slurp)
Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
Yahoo! Slurp China (http://misc.yahoo.com.cn/help.html)
Googlebot/2.1 (http://www.google.com/bot.html)
Google Wireless Transcoder
msnbot/0.01 (http://search.msn.com/msnbot.htm)
msnbot/1.0
msnbot/1.1
msnbot-media/1.0
REBI-Shoveler v0.1 (레비서치)
Giant/1.0 (Openmaru bot; robot@openmaru.com)
Microsoft URL Control - 6.01.9782 (코넷)
HMSE_Robot (하나로텔레콤)


Baiduspider+ (http://www.baidu.com/search/spider_jp.html)
Charlotte/1.0b (http://www.searchme.com/support/)
DataCha0s/2.0
DepSpid/5.26 (http://about.depspid.net)
DoCoMo/2.0 (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html)
EasyDL/3.04  http://keywen.com/Encyclopedia/Bot
FreeBot
heritrix/1.12.1 (http://www.page-store.com) [email:paul@page-store.com]
ia_archiver 
libwww-perl
MJ12bot/v1.0.8 (http://majestic12.co.uk/bot.php?+)
multicrawler (http://sw.deri.org/2006/04/multicrawler/robots.html)
page_prefetcher
Python-urllib/2.4
Python-urllib/2.5
Snapbot/1.0 (Snap Shots, +http://www.snap.com)
SnapPreviewBot
Sosoimagespider+ (http://help.soso.com/soso-image-spider.htm)
TinEye/1.1 (http://tineye.com/crawler.html)
Twiceler-0.9 (http://www.cuill.com/twiceler/robot.html)
VisBot/2.0 (Visvo.com Crawler; http://www.visvo.com/bot.html; bot@visvo.com)
W3CRobot/5.4.0

펌 금지. 링크 허용. 필요하면 인쇄하세요.

의견은 게시판이나 방명록에 남겨 주세요.

1. 먼저 읽어 보세요
2. 윈도 XP에서 꼭 필요한 나만의 설정
3. 클래식 음악가
4. Adblock 광고 차단 목록 (2011년 11월 24일 고침)
5. 검색 로봇 목록
6. 세벌식 390과 최종 자판 겹받침 연습용 텍스트 파일