和社会脱轨有段时间了。最近在做一个优化的时候发先了一个有趣的问题-robots.txt文件对百度的限制抓去效果很神速。
直接上数据吧，目标网站www.opine.cn，12月份改版，全新程序，老站的数据有一部分没有删除，放在了2个目录夹下。新改版的数据收录很快，当天收录就从200多上升到了300多的收录。因为当时我还没开始做这个站，直到12月末的时候，我上了robots文件，限制了旧数据目录。第三天，收录从300多下降到了200左右，在4号的时候，robots文件不小心被谁删了，第二天收录猛增了100多，都是老数据。赶紧把robots传上去，两天的时间，robots限制的文件又被百度藏起来了。一个多星期，反复的两次robots事件，收录也跌跌荡荡。数据从300到200在回到300，最后又变成现在的190.反映了一个问题，就是robots对百度的作用非常大，百度反应的速度也非常的快。
大家要学会用robots.txt，不但可以节约很多时间，而且对收录和禁止收录都是非常有效的。在robots.txt里面加一个sitemap地址，减去繁琐的sitemap提交，让蜘蛛自己来爬吧。
有点乱七八糟的感觉，大家多包含。