从淘宝百度之战看百度

王朝互联网·作者佚名  2011-12-16
窄屏简体版  字體: 小  |  中  |  大  |  超大  

淘宝网从九月六号就已经是完全屏蔽了百度

http://www.taobao.com/robots.txt 可以看出

User-agent: Baiduspider

Disallow: /

User-agent: baiduspider

Disallow: /

在百度帮助http://www.baidu.com/search/spider.html也有一条说明

我不想我的网站被baiduspider访问,我该怎么做?

baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站,或者禁止baiduspider访问您网站上的部分文件。 注意:禁止baiduspider访问您的网站,将使您的网站上的网页,在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。

然后事实上到了九月十号,无论是百度taobao.com还是www.taobao.com都已更新

baiduspider遵守不遵守互联网robots协议,很容易就得出结论了

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航