百度知道更新了新的robot配置文件,地址为http://zhidao.baidu.com/robots.txt 内容是:
以下为引用的内容:
以下为引用的内容:
User-agent: Baiduspider
Allow: /
Disallow: /w?
User-agent: Googlebot
Allow: /
User-agent: MSNBot
Allow: /
User-agent: *
Disallow: /
从这个可以看到百度知道还是允许google和bing这2家的搜索引擎抓去他们的内容,这和soso开发自己的搜索引擎并且soso旗下也有soso问答,这点和百度知道形成竞争。让人不禁想起当年,百度要做百度有啊的时候,他的竞争对手知道以后在百度的搜索结果页面因为百度自家的电子商务网站的加入在相关排名上会变的很被动,所以主动的阉割的百度搜索引擎。http://www.taobao.com/robots.txt
以下为引用的内容:
以下为引用的内容:
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
想不多事隔多年,今天把淘宝当年对付他的这招用在了新来的竞争者soso上,不同的是当年竞争的是电子商务,现在竞争的是问答网站。