我的个人站是用z-blog建的站，最近我发现很多的z-blog站长都不知道应该怎么设置自己的robots，其实robots设置对网站优化来说还是非常重要的。创建 robots.txt 文件，可以不让搜索蜘蛛抓取你的网站的部分目录或者文件。 对于一个网站来说并非抓取的目录和文件越多越好，因为不是所有的文件都需要被搜索引擎抓取。
以下几种情况有足够的理由告诉我们robots设置的重要性：
有些文件根本没有关键词或文本，比如本站的这个页面cmd.asp。
一般情况下，站内的搜索结果页面用robots设置屏蔽掉更好，比如本站的sreach.asp
网站后台管理页面，不希望被用户搜索到引来不必要的麻烦，也需要用robots设置屏
网站改版或url重写时原来不符合搜索引擎友好的链接都需要用robots设置屏蔽掉
相似度太高的页面，不符合搜索引擎的“网站相似度规则”，也可以用robots设置屏蔽掉
以下是我的个人站的robots设置规则,希望能够起到抛砖引玉的作用：
## robots.txt for dikeyao
# Version 4.0.0#User-agent: *
# Directories
Disallow: /FUNCTION/
Disallow: /CACHE/
Disallow: /XML-RPC/ Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /CSS/
Disallow: /LANGUAGE/
Disallow: /DATA/
Disallow: /THEMES/
Disallow: /INCLUDE/
#Files
Disallow: /wap.asp
Disallow: /cmd.asp
Disallow: /c_option.asp
Disallow: /c_custom.asp
#Sitemap
Sitemap: http://www.dikeyao.cn/sitemap.xml
# Directories 以下是需要屏蔽的目录
#Files以下是需要屏蔽的文件
#Sitemap如果网站有sitemap.xml最后还可以加上sitemap语句。
Nrobots设置规则可以参考：google管理员工具robots设置指南
z-blog的用户还可以参考一些行业中比较有名的博客，比如月光博客，方法很简单就是在网址后边有加上robots.txt即可（robots.txt在根目录下），http://www.XXXX.cn/robots.txt ，同理查看其它网站robots设置也用此方法。
