一个正确的robots.txt文件，能让搜索引擎不抓取网站的某个不想让蜘蛛抓取的文件，也可以避免大量的复制网页对网站搜索引擎权重的影响。Robots.txt 协议标准介绍以前也已提到过，也可以访问robotstxt.org官方网站参考正确的设置方法，但对了一个新手来讲，正确设置一个robots.txt文件是一件比较头痛的事情。不必烦恼，google教你正确设置robots.txt文件。
对于一个网站管理者，拥有一个google帐号是非常有用的，google网站管理工具，全方位的为你诊断网页，google通过此工具，为你反馈网站存在的一些问题。至于google网站管理工具榜大的功能我就不一一介绍，这里来讲一下怎么利用google网站管理工具设置一个正确的robots.txt文件。
网站管理工具中工具下有一个分析robots.txt文件，此栏下google检查你网站是否有设置robots.txt文件，如果没有你也可以通过提供的测试robots.txt文件并试用更改功能来设置一个正确的robots.txt文件，把你想要禁止的文件或目录通过robots.txt格式制作好后，复制到google提供的robots区，然后你可以在robots.txt文件测网址区测试下你刚才写的robots.txt文件是否正确。此处还提供了移动索引抓取、图片索引抓取、抓取网以确定AdSense内容、抓取网页测量AdWords到达网页的品质等强大的功能。
有了googel网站管理工具，让你不必烦心robots.txt文件怎么去写，写得正不正确，也避免了写错robots而给网站带来不必要的创伤直接为网站管理者带来的经济损失!
原文地址：http://www.hnfree.cn/changsha/post/google-set-up-robots.html