从常规意义上讲,某个网页只有存在指向它的反相链接时——包括网页的内部链接或来自网站外的链接——才能被搜索引擎发布、收录及索引。Google的网站管理员工具(原Google Sitemaps)则可视作对这一常规流程的有益补充:通过网站管理员创建的一个涵盖网站内页面url及相应url附加信息(诸如网页最后更新时间、更新频率、优先度等)的XML文件,以让Google的robots更清楚的了解网站提供的内容及内容间的组织关系,以更有效地完成对网站内页面的索引与收录。这也是之前我们将Google Sitemap称为Google“后门”的原因。——当然,必须明确的是,向Google提供Sitemaps并不能保证Sitemaps内的网页一定会被收录或索引,这取决于许多其他因素,但至少Sitemaps在一定程度上能够加强Google对网站的了解。
之前Sitemaps最大的问题在于,它只可用于Google,或者更准确地说,只可用于Google网站管理员工具。而其他搜索引擎,如Yahoo!或Live搜索(MSN搜索),则不支持这种特定的格式。因此,之前许多网站管理员在为网站创建了可用于Google的sitemaps后,还必须想办法为Yahoo!或Live Search创建实现类似功能但格式不同的文件,十分繁琐。
Sitemaps 0.90 : 不再是Google的专用格式
最近传来了一个好消息,Google、微软与Yahoo已经达成协议,将使用统一的Sitemaps标准(相应官方声明:Google、Yahoo!、Live Search),从某种意义上可以说,即原来使用范围仅局限Google网站管理员工具的sitemaps,也将被其他两家搜索引擎接受。目前三大搜索引擎联合建立(或赞助?)的标准化机构官方网站为www.Sitemaps.org。——从该网站的相关信息看,该网站域名注册于2001年,域名所有人为Google Inc.,并与Google其他域名如Google.org共用一台主机存放,也许未来Sitemap标准仍将由Google主导?
Anyway,根据Sitemaps.org中的声明,目前使用的sitemaps协议将升级为Sitemaps 0.9,当然,在具体应用方面没有真正的改变,版本升级只是代表着将Sitemaps从Google的专用格式改变为其他两家搜索引擎也接受的统一标准。
同时,该协议是一个开放标准,并在邀请其他搜索引擎加入。不知道中文搜索引擎如Baidu会不会加入进来。
向搜索引擎提交sitemap
当网站页面发生了改变,并更新了Sitemaps后,对Google而言,我们可以通过许多Sitemap工具内集成的API来通知Google,或到Google网站管理员工具内手动重新提交。那么,对其他搜索引擎如Yahoo!或MSN呢?
当然,估计如Yahoo!或Live也会很多提供类似的API,实现类似的sitemaps更新后自动提交的功能,不过,在现阶段只能通过手动的办法。Sitemaps.org中介绍了手动提交的方法:
操作起来很简单,只须在浏览器地址栏中输入如下内容:
<searchengine_URL>/ping?sitemap=sitemap_url
此处,<searchengine_URL>为搜索引擎提供的提交网址,如Google使用“www.google.com/webmasters/sitemaps/”,而“sitemap_url”,以SEO探索为例,则为“http://seo.highdiy.com/sitemap.xml”,也即是说,在地址栏中输入这样的内容:
<searchengine_URL>
/ping?sitemap=http://seo.highdiy.com/sitemap.xml
注意,真正提交时需要把“/ping?sitemap=”后的字符改为UTF编码,类似如下的格式:
<searchengine_URL>
/ping?sitemap=http%3A%2F%2Fseo.highdiy.com%2Fsitemap.xml
注意,要保证返回 HTTP 200 回应代码,这说明搜索引擎成功收到Sitemaps,而其他HTTP Header回应代码则说明搜索引擎在读取Sitemap时出现问题。