在这个科技高度发达的年代，baidu已经成为大家能获取音讯的首要路径。但如今的baidu，处处充斥着一些重复的内容，对用户的拜访形成很大的困扰。因而，baidu需要对页面重复进行判别，对重复的页面，只选取一些高质量的我那工业，共用户阅读。但是，现有技能中通常是经过对比两个页面的内容和借点，来承认两个页面的类似度。
这种办法能够核算的对比精确，可时刻复杂度太高，核算很费时刻。经过对一个页面中的某些重要信息进行签名，然后对比两个页面的签名，来核算类似度，这种办法对比简单高效，核算速度对比快，对比合适baidu这种海量信息的使用场景。
1，网站重复内容的判别
A，获取多个页面;
B，别离获取页面的页面正文;
C，从页面正文中获取一个或多个语句，并依据一个或多个语句核算页面正文语句签名;
D，依据页面正文语句签名对多个页面进行聚类;
E，对于每一类下的页面，核算页面的附加签名;
F，依据附加签名判别每一类下的页面是不是重复。
经过上述办法，页面重复的判别体系及其判别办法经过包含页面正文语句签名在内的多维度签名有用且迅速地判别页面是不是重复。
网站页面基本架构
获取正文
A，对页面进行分块;
B，对分块后的页面进行块过滤，以获取包含页面正文的内容快;
C，从内容块中获取页面正文。
正文分句
A，对页面正文进行分句;
在本过程中，可使用分号，句号，感叹号等表明语句结束的象征符号来对页面正文进行分句。此外，还能够经过页面正文的视觉信息来对页面正文进行分句。
B，对分句后的页面正文进行过滤及变换;
在过程中，首要过滤掉语句中的数字信息;版权信息以及别的对页面重复判别不起决定性效果的信息。随后，对语句进行变换，例如，进行全角/半角变换或许繁体/简体变换，以使得变换后的语句的格局统一。
C，从过滤及变换后的页面正文中获取最长的一个或多个语句;
在本过程中，过滤及变换后的页面正文获取出最长的一个语句或许做场的预订数量接连语句的组合。例如，某个页面实例中，经过过滤及变换后的某段最长，远超别的语句，因而可挑选该段为页面正文语句，或许挑选最长的接连语句组合作为页面正文语句。
D，对一个或多个语句进行hash签名运算，以获取页面正文语句签名。
simhash算法即是对比各页面的附加签名是不是一样或类似来判别页面是不是重复。具体来说，在对比使用simhash签名运算获得的页面正文签名时，对比页面正文签名的不一样位数，不一样位越少，表明页面重复的可能性越高，在对比别的的附加签名时，若附加签名相等，表明页面在该纬度上重复。
总结：
1、两个页面的实在标题签名一样。
2、两个我那工业的页面内容签名一样。
3、两个页面的页面正文签名的不一样位数小于6.。
4、两个页面的页面位置签名一样，而且url文件名签名一样。
5、谈论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名一样。
附加信息整站判别重复规范：
经过两两页面对比，能够得到真重复url的调集。通常来说，假如这个真重复url调会集的页面的数量/全部页面会集页面的数量大于30%，则以为全部页面集都是真重复，否则即是假重复。
本文由：大律师http://www.maxlaw.cn/分享
