分享
 
 
 

站长分享:六个方面浅析蜘蛛爬行与抓取(二)

王朝网站推广·作者佚名  2011-12-05
窄屏简体版  字體: |||超大  

在上篇文章站长分享:六个方面浅析蜘蛛爬行与抓取(一)中,分别从常见蜘蛛、跟踪链接、文件存储三个方面做了总结,今天接着上文从吸引蜘蛛、地址库、复制内容检测三个方面做分享。希望通过整篇文章的六个方面能让大家对搜索引擎有个更加深入的了解。好了,开始今天的正文,如果有不对的地方,希望大家做指正。

第四、吸引蜘蛛:通过上文我们知道,虽然蜘蛛理论上能爬取所有页面,但由于链接的复杂性以及时间的局限性,蜘蛛往往只是抓取互联网上网页的一部分,如果我们的网站想要获得好的排名,那么就必须想方设法让蜘蛛来抓取,蜘蛛一般会抓取比较重要的页面,那些页面较重要呢?一是页面权重高、资格老的网站会被认为比较重要;二是页面常更新的页面,对于经常更新的页面,蜘蛛会更加频繁访问;三是导入链接比较多的页面,无论什么样的页面,如果想要蜘蛛访问,就必须有导入链接;四是与首页点击距离近的页面,因为首页的权重往往最高,所以,距首页最近点击距离的页面往往也被认为是最重要的页面。

第五、地址库:地址库对搜索来说显得尤为重要,互联网上的网页数量是巨大的,为了避免爬行和抓取重复的网址,搜索引擎会建立一个地址库,这个地址库主要记录已经发现但是还没有被抓取的页面,以及已经抓取的页面。有了地址库,就能让搜索引擎的工作更加有效率,地址库中的URL地址常常有几个来源:一是人工录入URL;二是自己爬行和抓取,如果爬行到一个新的网址,地址库中没有就会存入待访问的数据库;三是通过提交,很多站长都会去主动提交要被收录的页面。蜘蛛会从待访问的地址中访问里边的URL,爬行完就会删除,并存入以访问的地址库中。但大家也需要了解,我们去主动提高给搜索引擎网址,并不代表他一定会访问并收录我们的页面,搜索引擎更喜欢自己爬行发现新的URL,所以我们还是要做好网页的内容和外部链接。

第六、复制内容检测:互联网中存在大量的重复内容,毕竟共享就是互联网的一大特点,所以这个特点就决定了大量相似的页面存在。所以在爬行与抓取的过程中,检测并删除重复的内容通常是预处理过程中重要的一环,当蜘蛛发现了很多的重复内容,就会给予删除,如果你网站上的内容大量都是重复的,那么你的网站很多可能就不会给予很高的权重。有时网站采集的网站也会被收录,但是过一段我们去查看时,已经被搜索引擎删除了,这就这复制内容检测的过程。如果只是拿来共享下其实无妨,但长期大量复制别人一摸一样的内容就会有问题。建议站长们最好别去大量采集,如果你没有更多的内容去填充你的网站,那建议你最好少更新,少更新也比采集强。

到这里,给大家做个小结:常见蜘蛛,跟踪链接,文件存储,吸引蜘蛛,地址库,复制内容检测,本文从这六个方面和大家完整的分析了搜索引擎蜘蛛爬行与抓取的基本知识。希望大家能认真的读完,虽然很多是基础性的知识,也可能有些枯燥,但这些对我们网站建设和优化是有一定的指导意义的。大体的了解蜘蛛是怎么“想”的和怎么“做”的,我们就能针对这些去补强自己。不要小看任何一个方面,有时就是一个细节就能引起排名的变化。

好了,本文就到这里,大家有什么好的想法也欢迎和我联系,本文来自:扎金花游戏下载,网址:http://www.mobiledy.com/,也欢迎转载,转载请保留链接,谢谢!

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有