记得原来有位朋友说过,百度蜘蛛的ip决定网站的权重,或者说权重高的网站是某个ip段的蜘蛛来抓取,权重低的网站也有相应的ip段蜘蛛来抓取。通过分析橘子舍http://www.juzishe.com十天来的iis日志数据,我得出上面的推测来的结论。
先说下我之所以去推测的原因。橘子舍是一个一年半历史的站,也应该归于老站行列。网站经常更新,权重也不错,每天更新的内容4个小时左右即可看到收录并来访问量。但近期国家整顿互联网的一刀切封机房的做法,致使橘子舍中断连接4天(12.2-12.6)。12月6号恢复以后,我就发现,搜索引擎抓取频率慢了,当天更新的内容几乎3天后才从日志中看到抓取记录,而baidu派来的蜘蛛也和原来不一样了,原来baidu派来我站的蜘蛛ip段是:202.181.7.* 而现在的蜘蛛ip段是:123.125.66.*
大家看我的日志截图,我就做出一种假设,百度蜘蛛的ip段是根据网站权重不同分别派发的,高权重的网站和低权重的网站可能在蜘蛛阶段就做了划分。
不过这只是我的推测,欢迎有经验的朋友印证批判。