蜘蛛为什么总是爬用户资料页面
首先，我们要想弄清楚，蜘蛛为什么总喜欢爬去用户资料也，咱们就必须先得整明白，搜索引擎的工作原理。
第一个：搜索引擎只是为了更好的把收录的内容，展现给用户最相关的信息。所以呢，可以判定，搜索引擎的最终目的，就是为了用户，那么既然一切都是为了用户，这个问题，也就迎刃而解了。
就拿discuz论坛来举例。
搜索引擎的蜘蛛，对一个网页进行了爬取。本着上面我讲到的最终目的，所以，他的出发点，应该是网站的核心，有句话叫“擒贼先擒王”就是这个概念。你的网站是否有价值，你的网站，到底给用户带来了什么，注册你论坛的用户，在注册之后，到底都发表了一些什么，都看了些什么等等，
爬去用户资料页面，是为了更精确的掌握用户行踪
这个问题，我也思考研究了很长时间，甚至有些cms的程序，或者是商城程序类的，一般都是屏蔽掉了用户的抓取，但是为什么蜘蛛还为什么，总是厚着脸皮去抓取呢，下面给大家讲解一下，我最近研究出来的方法
论坛注册的会员，都有会员页面。如果这时候站长把内容页屏蔽掉，那么搜索引擎肯定会对你的网站更严格的审核。用户注册后，每次发帖，蜘蛛都会来看一次，这是我蹲守了好几天，总结出来的经验。
大家都在忙着对蜘蛛进行分析的时候，都喜欢把一大把数据结合起来，哎呀，弄的头很大了，其实蜘蛛没那么可怕，更没那么聪明，爬取用户资料页面，就为一件事情
追踪用户信息
这个注册的用户，发布过什么帖子，看过哪些。在页面停留时间，跳出率等等数据，
对用户行踪做综合评分
我可以很负责任的告诉你，假如你的网站用户注册后，并且都积极发帖，回帖，经常停留在页面，增加粘性，我保证你的网站关键词排名，肯定很棒。
简单的就给大家分析这几点，站长们不要太在意蜘蛛的行踪，咱们努力把网站的内容和信息做好，就不要去管他。搜索引擎的算法更新，三五天一次，咱们永远无法掌握，但是咱们可以判定，蜘蛛的分析算法原理，一切都是为了用户体验。所以站长们也都要本着对用户体验的宗旨出发(本文来自吧吧建站基地官网 http://www.88jianzhan.cn转载请注明出处)