前一段时间由于部分站长对robots文件的误读，导致了一则虚假消息的诞生--“新浪封杀门”，消息称新浪博客开始封杀百度蜘蛛，其判断的依据只不过是新浪博客在的robots文件中有一段"User-agent：Baiduspider "，这个其实上传于2005年的robots迷惑了不少站长，真的以为新浪博客开始封杀百度了，一时间网上到处都是外链不好做的呼声，其实如果你熟悉robots的写法，就可以很轻松的识别这条虚假信息。
robots.txt文件放置于网站根目录下，搜索引擎蜘蛛访问一个网站后最新查看的就是robots文件，它就相当于你网站的“门卫”，如果“门卫”拒绝搜索引擎蜘蛛进入，则搜索引擎无法收录你网站的任何界面。
在“百度搜索帮助中心”(http://www.baidu.com/search/robots.html)中，
对如何禁止百度蜘蛛访问是这样定义的 ：
User-agent: Baiduspider
Disallow: /
仅允许百度蜘蛛的访问：
User-agent: Baiduspider
Disallow:
禁止百度蜘蛛访问特定目录：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
结合这3种语法，我们再来看看网上流传的新浪博客的robots写法：
User-agent： Baiduspider
Disallow： /admin/
Disallow： /include/
Disallow： /html/
Disallow： /queue/
Disallow： /config/
其真正的目的只是禁止百度搜索引擎访问5个后台目录，和内容页并没有关系，因此说那个robots并不是封杀百度蜘蛛的，而是告诉百度蜘蛛要“去改去的地方”。
一个正确有效的robots文件可以帮助你更好的被百度收录，各位新手站在朋友如果对robots还不熟悉，可以到“百度搜索帮助中心”(http://www.baidu.com/search/robots.html)下载标准案例，将里面的内容改成自己的网址即可。
以上是我的一点体会，希望有朋友们转载的时候可以保留我的链接http://www.jfbest.com 多一份保，留多一份口碑，多一份运气，多一份财富!谢谢!
