大家应该也都有接触过robots或者说至少听说过，那么什么是robots.txt?他有什么作用，如何来制作我们的robots.txt?
robots.txt是一个纯文本文件，当一个搜索robot访问一个站点的时候，它首先爬取我们网站根目录(也就是我们FTP服务器上的一级目录与网站首页同级)看看是不是有robots.txt文件存在，如何存在，那么蛛蛛就会按照我们帮他设定的范围来访问我们的网站;如何不存在，那么搜索robot就沿着我们的链接爬取我们的网站。
对此，我们对robot也有了一定的了解，换句话说他的作用就是访问蛛蛛爬取我们网站链接，从而达到部分内容不让引擎收录。比如：我们的后台路径，联系我们，等等一些不重要，但又一定要存在的链接进行屏蔽。
如何制作robots.txt。其实操作很简单，前面我也说了，他只是个文本文件。我们只要在桌面建一个txt文本，然后重命名为robots.txt就可以了。接下来就是在文本里面写我们要约束的语句就可以了。
这里小何给大家举例一些经常会用到的robots.txt语句：
禁止所有搜索引擎访问网站的任何部分(在我们建好站的初期可能会用的到)
robots.txt举例使用
以上只是部分的语法，当然这里我还要特别提醒一下的是：robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。robot文件的最终目的，净化我们的网站，提高蛛蛛的爬行率，增加网站的收录率，同时提高关键词排名。所以新手朋友们，一定记得要在自己的网站上配备适合你网站的robot。
本文由www.nb-seoer.com站长原创，如果转载，请声明。
