常见搜索引擎蜘蛛大全

王朝互联网·作者佚名  2011-12-16
窄屏简体版  字體: 小  |  中  |  大  |  超大  

百度 baidu.com----Baiduspider

http://www.baidu.com/search/spider.htm

谷歌 google.com----Googlebot

http://www.google.com/bot.html 中文版请打开以下页面

http://www.google.cn/support/webmasters/bin/topic.py?topic=8843

雅虎 yahoo.com----Yahoo

http://misc.yahoo.com.cn/help.html 打开后跳转到以下页面

http://help.cn.yahoo.com/property.html?product=websearch

有道 yodao.com----YodaoBot

http://www.yodao.com/help/webmaster/spider/

搜搜 soso.com----Sosospider/Sosoimagespider(网页蜘蛛/图片蜘蛛)

http://help.soso.com/webspider.htm

http://help.soso.com/soso-image-spider.htm

搜狗 sogou.com----sogou

http://www.sogou.com/docs/help/webmasters.htm#07

微软 msn.com----msnbot

http://search.msn.com/msnbot.htm 打开后跳转到以下页面

http://help.live.com/help.aspx?mkt=zh-cn&project=wl_webmasters

以下是几只收获(抓取页面)不劳动(不来流量)的蜘蛛 可以考虑禁了它们爬行 省空间流量

国外搜索引擎

gigablast.com----Gigabot

http://www.gigablast.com/spider.html

国外搜索引擎

webalta.net----WebAlta

http://www.webalta.net/ru/about_webmaster.html

国内的一个实验室的

apex.sjtu.edu.cn

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航