做一个好的网站，要注重每一个细节。robots文件的好坏，是搜索引擎评判一个网站规范性和权威性的重要标准。很多新手做站之初是注意不到这些细节的，看了这篇文章，希望你能重视一下robots文件。
第一步：屏蔽相似度高的页面
搜索引擎收录发布的网页以后，会对网页进行审核，如果碰到非常相似的内容，会在一段时候以后删除其中一个。为了显示出你对搜索引擎的优化，请做好这一步，屏蔽内容相似的页面。这个问题在博客、论坛和cms系统出现的比较多，比如59源码网论，下面这两个帖子其实就是一个内容。
http://www.***.com/bbs/redirect.php?tid=48&goto=lastpost#lastpost
http://www.***.com/bbs/thread-48-1-1.html
屏蔽方法：Disallow:/bbs/redirect.php?fid=
第二步：屏蔽多余连接
诸如space.php?usename=admin和space-uid-1.html同时指向一个页面，搜索引擎会利用一定的时间判定到底删除哪个页面，如果整站都是存在是这个样子，搜索引擎会认为你的站并不友好，存在重复内容，从而影响网站的权重，所以需要屏蔽。当然，建议屏蔽的是动态页面。
屏蔽方法：space.php?usename=
第三步：屏蔽死链接
死链接就是那些原来存在，后来因为改版等原因消失的连接。不屏蔽的话搜索引擎会认为你的站存在欺骗它和访客的嫌疑，所以需要去掉。比如59源码网原来的一个目录logs因为一些原因被删除了，就需要将此目录屏蔽掉。
屏蔽方法：Disallow:/logs/
欢迎转载59源码网http://www.59code.com 内容，转载请注明作者和源地址。
感谢 59源码网 的投稿