为了提高查询结果的主题相关性,2002年斯坦福大学的Taher Haveliwala提出了主题敏感的Pagerank算法TSPR,现在是Google排名的核心算法之一。
无论Pagerank、HITs甚至HillTop算 法都存在“主题漂移"问题,特别对于疯狂而又随意交互外链的站点,导致搜索引擎返回主题无关结果,搜索引擎用户体验很差。而TSPR借鉴了早期开发目录 (ODP,如Yahoo,Dmoz等)的思想并结合PageRank算法:针对一个查询来确定一个URL对该查询的主题敏感性得分,作为排名的一个重要依 据,大大提高了返回结果的主题相关性。
TSPR算法主要分为两个过程:
第一过程针对URL离线生成Rank向量,这个过程是基于开放目录的,以Dmoz为例,“中国汽车消费网”的首页 URL在"Open Directory - World: Chinese Simplified: 休闲: 汽车"这个主题(这里假设为Cj)里,假设该页面上的非隶属URL数为L个,那么"中国汽车消费网"的URL对主题Cj的得分(Ranki)为1/L,由于“中国汽车消费网”的URL可能出现在多个主题目录中(对于主题目录页面中没有该URL,自然得分就为0),那么选取TOP N个主题得分,组成这个URL的Rank向量。
第二个过程就是在线生成针对查询关键词的URL的主题敏感性得分,(1).首先计算一个查询是某一主题的可能性与敏感性得分,和HillTop算法一样, 将一个查询分为k个术语(term),根据朴素贝叶斯分类器(机器学习与数据挖掘常用的一种数学方法,这里不详述),计算该查询是某一主题的概率,以“汽 车消费”为例,分为"汽车"和"消费"两个术语属于Cj主题的概率为0.8和0.1,那么该查询为Cj主题的可能性为P(Cj)*0.08 (其中P(Cj)也是一个概率,也可以作为个性化参数,如表示用户对主题Cj的偏好程度);(2).然后计算针对该查询和主题Cj时"中国汽车消费网"的URL的敏感性得分,该得分为TSPRj=Ranki*P(Cj)*0.08,那么的针对“汽车消费”这个查询,315che的URL针对“汽车消费”这个查询的敏感性得分等于上述所有主题中TOP N个TSPRj得分之和(其实也就是第一个过程Rank向量与该查询属于TOP N个Cj概率向量的点积)。
TSPR算法的总体过程如上,简单的说,对于一个查询,计算一个URL对该查询的主题敏感性得分是依赖于开放目录的。足见Google对开放目录的重视。
总结:1.一个网站的被开放目录收录是极其重要的,是其在一些主题性关键词查询获得较好Google排名的保证,而这类关键词一般都是热门关键词,是网站 的立身 之本。2.从第一个过程可以看出,一个主题的网站越多,每个网站的敏感性得分就会越小,从第二个过程可以看出一个网站被越多的主题收录,敏感性的就越高, 显然被越多的开放目录收录,主题敏感性就越高。所以选择合适主题,让尽量多的开放目录收录可以提高重要页面的主题敏感性得分。
本文由http://www.315che.com/站长供稿!