下面我从两个方面谈及,吸引搜索引擎蜘蛛办法,分为搜索引擎蜘蛛内部吸引和外部吸引两部分:
搜索引擎蜘蛛吸引之内部吸引
1、唯一的URL、唯一的内容
在搜索引擎蜘蛛眼里,比较理想状态是,一个“名字”可以对应一个“人”,也就是唯一URL、唯一内容的意思,所以当你越接近这个状态,那么越容易被抓取和收录。
对于一般站长,我的建议是整站静态,并对所有的动态文件,禁止搜索引擎蜘蛛抓取,可以很有效实现唯一的URL、唯一的内容目的。
2、限制搜索引擎蜘蛛抓取内容
现在很多CMS程序,都支持用户功能,但是这种掺入用户相关参数URL,对于搜索引擎蜘蛛来说,并不是一件好事情,因为很多URL地址不规则,而且存在某些缺陷,容易让蜘蛛陷入死循环,而且更麻烦的是,因为内容基本相同,导致了一个页面存在N多URL,可是犯了大忌讳哟。
3、不可能存在的页面,真实存在
有些站长朋友,或有意、或无意的期望搜索引擎蜘蛛多抓取,制造网站无限页面,当你输入page=99999这种完全不可能存在列表页,还能返回一个正常200代码,这种情况将恶意消耗蜘蛛和你的宽带,往往会被丢弃。
搜索引擎蜘蛛吸引之外部吸引
1、合乎情理的外链
以前我曾写过一篇怎样才算好的外链?主要是讲了发外链理想条件,如果达不到也没有关系,只要是合乎情理的外链,内容和外链之间肯定是存在相关性的就行。
当搜索引擎蜘蛛通过像TF/IDF算法,帮助它刚抓取的文章获得一个关键词时候,而你的外链刚好出现,又是和关键词相关,蜘蛛就像一个研究者,会迫不急待想要一睹为快了。
2、内容像可口的甜点
每天都有很多人在喂蜘蛛,当然食物中也会有很多一样的,所以蜘蛛养成了馋嘴习惯,如果不是可口的内容,它可能会厌烦哟。
如果你觉得我说的有道理的话,就请多花点时间,好好再次阅读一遍,因为很多知识都是非常有价值的,另外如果你有吸引搜索引擎蜘蛛其他办法,欢迎在下面的评论中写出来,大家一起交流,期待摩擦出来新的火花。