在搜索结果有效性存在缺陷的问题经媒体大肆曝光之后,谷歌开始采取行动。这家搜索巨头最近对产品搜索算法进行了大规模调整。用谷歌高管的话来说,就是要赋予那些“高质量”网站更高的排名,同时打击那些“用处不大的”网站。谷歌估计,此次搜索算法的调整将影响到大约12%的美国搜索请求。
此次调整于2月24日正式对外公布。相对于谷歌过去频繁进行、而普通用户往往无从察觉的轻微调整,此次影响要广泛地多。最近,一系列负面新闻被媒体曝光,谷歌此举正是为了平息余波。其中最引人注意的是《纽约时报》的一篇报道,其中称连锁百货公司J.C. Penney通过在搜索引擎上“作弊”,在很多搜索请求中都能让自己的搜索排名结果稳居第一位。《华尔街日报》也报道称,在另一起独立事件中,零售网站Overstock.com也因违反了不得人为干预搜索结果排名的谷歌政策而遭受重罚。
很多科技界的评论人士最近也纷纷指责谷歌,允许大量垃圾内容和低质量内容出现在搜索结果中。为此,谷歌表示将拦截那些所谓的“内容农场”(content farms)网站的搜索结果。Demand Media和Associated Content这样的网站就属于内容农场,它们会根据搜索结果的排名规则,在短时间内粗制滥造大量文章。
这些事件以及谷歌的反应催生了一系列问题。搜索质量究竟有多么重要,对谁而言?谷歌的市场影响力是否过强?该公司是否应该提高搜索结果算法的透明性?搜索产业的未来将会如何?
“谷歌的搜索业务要能满足两类人的需求:用户和广告商。”沃顿商学院法律研究和商业道德教授凯文·韦巴赫(Kevin Werbach)说,“谷歌是占据主导地位的搜索引擎。但是,如果用户发现无从获取自己想要的搜索结果,他们也会尝试其他选择。从财务意义上来讲或许更为严重,因为广告商有可能放弃对搜索关键词的竞拍。谷歌的价值定位基础是作为一家中立的“诚实中间人”,提供优质的搜索结果。”
沃顿商学院的专家表示,谷歌搜索结果日益受到关注,令一场“猫捉老鼠”的游戏显现了出来:一方是谷歌公司,另外一方则是那些试图利用各种算法决定搜索结果显示顺序的人。这种行为被称作“搜索引擎优化”(SEO),即利用一系列技术来制作网页,从而提高该网站在搜索结果中排名较高的几率。目前有很多符合谷歌最佳做法的合法SEO技术,但同样也存在所谓的“黑帽”技术,其目的是利用搜索算法的某些偶然因素,人为获得更高的排名,为网站吸引更高的流量。
3月3日,2011年PaidContent大会在纽约召开。在会议观察人士看来,谷歌此举试图阻止对搜索结果的作弊,最终影响几何尚无法确定。雅虎旗下的Associated Content副总裁卢克·贝蒂(Luke Beatty)表示,在谷歌进行调整后,该网站有三分之一的内容排名上升,但另外三分之二的排名却出现下滑。搜索引擎公司Mahalo的总裁詹森·拉普(Jason Rapp)告诉与会者,在谷歌调整搜索算法后,他的公司裁掉了10%的员工,并且改变了公司战略。“我们有很多大众化的内容受到了颇为明显的影响。当我们目睹这一冲击之后,便及时作出了反应。”拉普说。
沃顿商学院运营和信息管理教授卡迪克·霍桑纳格(Kartik Hosanagar)认为,考虑到谷歌最初发展壮大的方式,谷歌对于搜索质量的关注似乎有些许的讽刺意味。“如果你研究一下谷歌的起步以及它为什么会如此成功,原因就是它的PageRank算法。”霍桑纳格说道。他所指的是这家搜索巨头通过分析互联网上的链接,判断某个网站的重要程度,然后决定各个页面在搜索结果中的排名。“PageRank让谷歌得以改进其搜索结果。而雅虎等其他早期搜索引擎很容易充斥大量垃圾信息和低质量的内容。”
如今,谷歌也有可能面临其前辈在十几年前所遭遇的问题。“搜索质量对谷歌的声誉至关重要,”霍桑纳格指出,“质量是谷歌主导市场的根本所在。”
根据搜索公司comScore的数据,今年1月,谷歌在美国搜索市场的份额为68.2%。受益于与雅虎的合作,微软的搜索网站必应占据25.6%的份额。“如果谷歌没那么重要,很多人就不会绞尽脑汁地作弊,”沃顿商学院新媒体总监肯德尔·怀特豪斯(Kendall Whitehouse)说,“因为谷歌在搜索市场的主导地位太强,如果你的网站无法在谷歌上轻易找到,那它实际上就相当于隐形了。”
正因为如此,谷歌的算法调整才会如此重要。沃顿商学院运营和信息管理教授埃里克·克莱蒙斯(Eric Clemons)表示,“只要能够削弱内容农场与AdSense之间的结合就行(AdSense是谷歌的互联网广告服务应用)。没有了内容农场,用户可以受益,谷歌也可以过得更好。”他说。
至少目前谷歌正在努力解决这一问题,通过一系列既定规则清理有问题的内容,不让它们出现在搜索结果中。“在我们尝试解决此类问题时,会试图通过搜索算法来解决。也有可能会出现一些孤立的事件,我们将会根据相关法律……进行人工干预。”谷歌产品管理副总裁尼尔·莫汉(Neal Mohan)2月28日在摩根士丹利科技、媒体和通讯大会上这样表示。沃顿商学院的怀特豪斯强调,谷歌在区分内容优劣时面临困难。他认为,只要搜索结果不够完美,“我们就会指责谷歌”,“但是,要知道哪些是(用户认为的)‘正确’答案却不是仅凭软件就能轻松实现的。”由于内容质量无法完全利用算法来判断,因此谷歌于3月10日增加了一项功能,让用户手动封锁他们不喜欢的网站。
权力是否就意味着腐败?
谷歌是在互联网上寻找信息的主要渠道,这赋予了谷歌极大的权力。自然,这种权利也吸引了很多试图借助谷歌系统牟利的人。霍桑纳格认为,谷歌在搜索市场的遭遇类似于微软在安全领域的境况:两家公司都是因为拥有主导地位而成为他人的目标。
事实上,像Demand Media这样的企业,尽管会聘请大量自由写手来制作符合搜索引擎偏好的文章,但却表示对谷歌的依赖是它面临的最大商业风险之一。Demand Media的首次公开招股恰逢谷歌宣布打压内容农场之际。2月22日,在Demand Media的首次财报电话会议上,公司CEO理查德·罗森布莱特(Richard Rosenblatt)强调称,公司正在着手实现流量来源的多样化。
克莱蒙斯曾经在多家媒体上抨击谷歌的权力过大。他指出,在算法之外,谷歌有能力通过人工调整来审查搜索结果。对于那些依靠搜索引擎获取流量的企业而言,这种调整既可以成就一家公司,也可以毁掉一家公司。沃顿商学院法律研究和商业道德教授安德里亚·麦特维辛(Andrea Matwyshyn)认为,在“保持算法的纯净性”和利用人工调整“来解决对社会政策的担忧和坏分子”之间,谷歌需要面临激烈的斗争。
例如,在《纽约时报》曝光J.C. Penney利用不当手段在很多搜索结果中排名首位后,谷歌大幅调低了该公司的网站排名。这家百货连锁否认参与了这一计划,但随后仍然终止了与其搜索引擎咨询公司的合作。麦特维辛认为,谷歌的做法目前为止尚无问题,但也警告说:“谷歌难免会对一些网站错误定性,并给被降级的企业造成经济损失。问题在于人工调整的准则是什么。”
麦特维辛还补充道,谷歌在调整算法并进行人工调整时所要承担法律责任仍然是一个灰色地带。“目前为止,法律还没有涉及这一问题,但是在今后5到10年的时间里必须予以解决。”
怀特豪斯指出,当谷歌宣布将打击低质量内容时,就引发了一个重要问题。“‘低质量内容’的确切定义是什么?”他问。谷歌发布了搜索政策的规则,但通常不会对针对网站的具体行动发表评论。霍桑纳格预计,这家搜索巨头仍将成为作弊的目标,因为暗中破坏搜索系统确实可以带来商业利益。“搜索毕竟是浏览互联网的主要方式。”
谷歌的权力是否过大?事实上,克莱蒙斯认为该公司已经占据了接近垄断的地位。然而,谷歌高管却一直坚称,用户可以很容易地更换搜索服务提供商。“谷歌是一家盈利性的服务企业,没有人逼你使用谷歌,它可以‘为所欲为’。”沃顿商学院创业领域的教授卡尔·尤里奇(Karl Ulrich)说。“风险在于,如果外界认为它的结果不够好,竞争对手的市场份额就会上升。谷歌的市场影响力来自于它所占有的市场份额,然而,用户转换搜索引擎的成本非常非常低。因此,一旦谷歌无法提供最好的搜索体验,用户就会更换其他产品。”
但麦特维辛却认为,对于部分用户而言,或许没有这么容易。她指出,尽管“那些纯粹将谷歌作为搜索引擎来使用的人可以使用替代品”,但那些同时使用谷歌的电子邮件、文档、图片和视频服务的用户或许很难切换成其他搜索引擎。
理想的搜索
沃顿商学院的部分专家还对谷歌是否足够透明持怀疑态度。谷歌总是频繁调整搜索算法,以改善搜索质量。一般来说,谷歌会告知公众相关变化,并为网页制作者提供最佳做法指南。但是,谷歌并不会透露多少信息,介绍对搜索结果进行排序的方式细节。该公司只是表示,搜索引擎在收集网页时会考虑200多个因素,包括其原创的PageRank算法。
“如果从不跟我描述算法,我不确定我对搜索引擎这么重要的东西也要依靠算法有何感想。”克莱蒙斯说。麦特维辛也希望谷歌能够更加透明,但他指出,算法是“该公司的核心资产,谷歌必须要对细节保密”。
霍桑纳格指出,如果谷歌更透明,就更有可能被骗。“谷歌的行为似乎完全有理。当垃圾信息制造者知道雅虎和其他企业的搜索引擎功能后,便会在这些系统中作弊。低质量内容的问题比谷歌的权利膨胀更为严重。”他说。
从根本上讲,谷歌及其他搜索引擎面临的挑战是如何了解用户需求,为其提供最精确的结果。“搜索需要新的生机。就像谷歌当年凭借PageRank脱颖而出一样,其他企业也可以寻找不同且更好的办法来对搜索结果进行排序。”霍桑纳格说。他认为,理想的搜索应该具备人工智能。例如,在《危险边缘》(Jeopardy)节目中获胜的IBM沃森超级电脑或许就能够制作出优秀的搜索引擎,尽管这项技术短期内不太可能大范围普及。
与此同时,搜索引擎提供商也在努力利用霍桑纳格所说的“人工智能”改进业务。普遍的观点是将Facebook和Twitter等社交网络整合到搜索引擎中,“以便推断人们正在做什么。” 霍桑纳格指出,在更好的系统诞生之前,社交网站的信息有可能会改善搜索结果。“算法不会理解内容,也无法猜测人们的想法。”他说。
部分企业已经开始发展社交搜索业务。谷歌今年2月推出了一款应用,将Twitter信息整合到搜索结果之中。2月24日,微软必应也宣布将把Facebook的“Likes”信息整合到搜索结果中。如果用户登录Facebook,然后使用必应搜索信息,搜索结果的一侧就会显示来自好友的贴士和建议。
麦特维辛认为,社交搜索或许能够改善结果,但谷歌和其他公司必须要对用户隐私负责,并将信息公开与否的控制权交给用户。“理想的搜索引擎应该提供极其个性化的结果,”她指出,“我的搜索结果应该与你的结果不同,而且要符合我的隐私设置水平。”然而,怀特豪斯却指出,“搜索是一个多层次的问题。在某些主题中,最新的内容或者你的好友最喜欢的内容是否比明确的声明更重要?这要取决于你在寻找什么。答案并不唯一。”
无论如何,谷歌改善搜索质量和打击搜索作弊行为的政策都将受到外界密切关注。“由于谷歌占据主导地位,因此它肩负着更大的责任,它的所作所为也应当受到更加严格的审查。”韦巴赫说。“关键问题不在于谷歌是否拥有权力,而在于它是否在滥用权力。目前为止,该公司对于自己正在做的事情相对还是比较透明的,而且对于多数不予鼓励的行为都比较小心。”