查找引擎对页面的过滤
并不是蜘蛛每抓取到一个新的页面就会增加索引（录入），而是要思考这个页面有没有收率的价值，影响要不要录入某一已抓取下来的页面，一个比照重要的问题是：页面的重复度。假如同一篇文章，或许具有高度类似度的文章，被屡次录入，查询对应关键字是展示的查找成果用户感兴趣的大多数的前5名，同一篇文录入太多是糟蹋查找引擎服务器资源，并且也不能极好地维护自创，查找引擎就无法给用户供给最新信息。
二，信息结构化
爬取程序从互联网上下载页面资源增加到页面库，这个页面包括图像，锚文本，正文…等等信息。查找引擎需要对页面信息结构化。取得页面中的：页面标题，锚文本，正文标题，正文…由此可见，一个网站一切页面标题都相同有多么可怕。
三，查重技能
这儿并不是给咱们介绍具体的查找引擎进行页面查重的技能，举一个比如—要想晓得两个页面的重复度，参阅呈现频率高和频率低的关键字是没有多少价值的，能够这样做：一篇文章中去掉运用高频率的词，像咱们，能够，可是，…这样的词，去掉运用频率低的词，像四爷爷，红太郎，李白…两篇文章的中平率词进行比照。咱们进行伪自创的时分，喜爱用“可是”替代“可是”，用“咱俩”替代”咱们“。其实这些并不是查找引擎查重的目标，假如进行再深度的高度伪自创，那就支付的价值也不少了。
以上仅仅一个比如，查找引擎判别两篇文章类似度的办法有十分多，不支付略微高本钱的伪自创基本是不可的，高质量的伪自创相当于对原文的润饰，使其更适合读者阅览，也算是高质量的文章。
四，页面消重
两个类似度十分高或许重复的文档，查找引擎大概去掉哪一个，保存哪一个呢？通常有下面三种状况：
（1）追寻文章的自创，保存自创。
（2）保存用户多，曝光率较大的页面，使页面发扬最大价值。
（3）保存最先被录入的页面，这样也是必定程度上维护版权。
关于baidu查找引擎来说，咱们看到的现象是2和3两种状况，页面消重，可是并不是肯定答应重复录入，咱们去查找一下仍是有许多重复的文章。
追寻文章的自创出处，耗费大，并且不精确。保存用户多的页面，使页面屡次被检索到，对查找引擎的用户体会也是十分有利的，最先被录入的页面能够被以为伪自创页面。这样，咱们常常会发现同一篇文章实际上被录入许多，是因为自创被保存，大渠道转发的也保存。本文来自：河源美甲学校www.hl114.com/z_detail/newsId=161.html
