大家好，我是Jrasy，刚刚有一篇文章精准的介绍了我从事SEO行业4年来的所有经验，最后特别提到了一个关于robots.txt的问题，不管这个文件对于一个网站的影响有多大，我个人觉的我都有必要先告诉对这个文件有兴趣的人，这个文件要怎么写。
robots.txt很简单，是非常非常简单。有的人不懂robots是什么，有什么用?
robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。
在这里说明下，如果在网站目录下加了这个文件，搜索引擎会认为你是一个比较正规标准的站。
搜索引擎会对你有个好印象，我的论坛就有ROBOTS文件，有个前辈曾经还告诉过我，ROBOTS文件会对网站的关键词有影响，具体也没说的太清楚，例如我给我的学员用来做教程用的一个网站，ROBOTS文件是程序本来就带的，也没发现什么问题，更不用说对关键词有什么影响，切入整体，ROBOTS文件如何写!
用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径。
ROBOTS的潜力到底有多大?Jrasy有时间再跟大家讨论，
转载请注明，本问转自红客家园论坛 www.52hack.com