robots.txt文件，是每一个搜索引擎蜘蛛到你的网站之后要寻找的访问的第一个文件，robots.txt是你对搜索引擎制定的一个如何索引你的网站的规则。通过该文件，搜索引擎就可以知道在你的网站中哪些文件是可以被索引的，哪些文件是被拒绝索引的。我们就可以很方便地控制搜索引擎索引我们网站的内容了。
在很多网站中，站长们都忽略了使用robots.txt文件。因为很多站长都认为，自已的网站没有什么秘密可言，而且自已也不太会使用robots.txt的语法，因此一旦写错了会带来更多的麻烦，还不如不用呢。
其实这样的做法是不对的，如果蜘蛛在某某网站访问了一个不存在的URL，那么就会被记录下一条404信息(网页不存在)，而且robots.txt作为被搜索引擎蜘蛛访问我们网站的第一个文件，一旦人搜索引擎找不到这个文件，也会在它的索引服务器上记录下一条404信息。如果这样的404信息过多，那么搜索引擎蜘蛛就会认为该网站价值较低，从而降对该网站的“印象分”，这样就是我们经常听到的“降低权重”。
“权重”是一个影响网站在搜索引擎排名中非常重要的因素，如果网站的权重高，那么搜索引擎蜘蛛也会频繁地访问该网站，而且排名也好。如果权重低，那么搜索引擎蜘蛛对于网站的访问次数也相应的要少，同是网站的排名较差。而网站的权重是由很多条件所积累的。404信息就是很重要的一条，因此不是不重视。
虽然在百度的帮助文件中，有这样一句话“请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt。如果您希望搜索引擎收录网站上的所有内容，请不要建立robots.txt文件”。实际上百度只是但心由于网站管理员不懂得robots.txt语法，导致搜索引擎蜘蛛无法正常抓取网站，才这样写的。建立robots.txt文件还是必须的。哪怕这个文件是这个空白的文本文档都成。因为我们的网站毕竟不是仅仅会被百度收录，同时也会被其它搜索引擎收录，上传一个空白的robots.txt文件，至少不会导致一条404信息的产生。
好了今天就写到这里吧，有空了再写robots.txt语法怎么写和怎么用，因为我也不会写呢，还在学，哈哈!
本文出自：袁红的博客，地址：http://www.yhsem.com/seo/31.html，转载须注明!
PS:作者信息：袁红。 好文需要收藏，阅读丰富人生。如果你觉得本文写得不错，请转载收藏以方便下次阅读，新建网络推广7群70870139，欢迎加入。
