内容分发服务(CDS,Content Distribution Service)是互联网的一项新技术。是否具备CDS已成为衡量IDC综合能力的标志之一;是否具备全国或全球范围内的内容分发网络(CDN,Content Distribution Network)已成为ICP等选择合作伙伴的考虑因素之一。本文将着重介绍CDS的技术原理及应用状况。
内容分发技术主要是针对各类门户网站。电子商务网站、专业类以及社区类网站而提供的服务。通过此种服务使各地的Internet客户在访问这些网站时,可以访问最接近本地缓存服务器中缓存的内容,从而缩短请求响应时间和网络延迟,减轻网站服务器的负载。目前,内容分发技术已被国际上许多IDC服务提供商应用,如Adero、CacheWare、Exdous、Digital Isand、Mirror Image Internet等。据Forrester研究机构调查:Yahoo.com网站的页面访问量达到约6亿次/天,其中48%的页面访问是由其租用Akamai公司的缓存服务器来完成的。由此可见,内容分发技术不仅给采用此技术的网站带来被访速度上的优势,而且也为提供此项增值服务的IDC服务供应商带来可观的经济效益。我国的各大基础网络运营商也已开始逐步建立并提供各种形式的CDS。
1 CDS技术
众所周知,ISP所提供的上网带宽以及网站接入带宽所造成的网络延迟是影响上网访问速度的主要因素。在有效解决Internet带宽问题的同时,专家们也在研究如何使网站服务器与各地的客户尽可能地“接近”,从而减少访问请求和响应所途经的网络节点,达到缩短网络时延的目的。
缩短网站与客户之间“距离”的方案主要有两种。
方案一:在各地建立网站远程镜像站点。网站异地镜像服务的实现方式是:通过更新数据中心用户DNS中的域名记录,把广域网负载平衡设备设置为用户应用服务器的指定授权域名解析服务器,从而当Internet客户访问该网站时,广域网负载平衡设备即会接收到该Internet客户的域名解析请求,并依据一定的负载平衡算法为该客户就近访问该网站“指明道路”。
方案二:采用内容分发技术。内容分发技术结合了计算机缓存技术和分布技术,将缓存服务器分布于Internet各大骨干节点上,同时利用其他广域网的负载平衡技术使各地的客户在访问站点时首先访问距离自己最“近”的缓存服务器,从而得到最快的响应。所谓最“近”,就是网络延迟时间最小。
CDN系统根据不同的环节采用不同的技术,主要涉及到以下4种技术。
(1)广域网负载平衡技术
使Internet客户可就近访问缓存服务器,从而减少网络延时。广域网负载平衡技术依据以下原理工作。
?广域网负载平衡设备查询各个节点的状态信息;
?客户端在访问服务前,首先向广域网负载平衡设备发起域名解析请求;
?广域网负载平衡设备将最“近”的IP地址作为域名解析结果返回给客户端;
?客户端依据得到的IP地址请求访问最“近”的节点;
?最“近”的节点响应客户端的请求。
(2)本地负载平衡技术
?用于实现缓存服务器的负载平衡和高可用性。在各地节点上实现缓存服务器组的负载平衡,不仅保证了缓存服务器的冗余设计和高可用性,还可以基于轮询方式或响应时间方式分担来自用户端的Web请求。
(3)缓存技术
通过在IDC前端部署高速缓存服务器并采用反向代理模式,可加快服务器的响应时间。缓存服务器的作用是把用户访问过的内容保存在服务器中,以便其他用户再次访问该内容时可以从就近的缓存服务器中得到,从而缩短服务器的响应时间。而反向代理模式是一种“拉”的技术,即当即用户请求访问的内容在缓存服务器节点中并不存在时(即用户首次访问该内容时),缓存服务器则从源Web服务器中下载得到。或者说,缓存服务器是一种被动的方式,用户不访问,缓存服务器就不会事先主动地保存相关内容。
(4)内容分发和管理技术
内容分发和管理技术能够主动、实时地更新缓存服务器的内容,使缓存服务器的内容与源Web服务器一致、保持同步。对于内容经常更新或网页文件较大的网站,采用这种方式效果更为显著。
内容分发和管理技术是有别于反向代理缓存技术的一项新技术。内容分发和管理技术是一种“推”的技术。它主要包含内容分发和内容管理两项功能。
?内容分发功能:一旦源Web服务器的内容被更新,内容分发系统立即主动将其“推”到分布在各地的缓存服务器中,使各缓存服务器的内容与源Web服务器一致;或在设定的某个时间段或网络流量较小时将源Web服务器中的内容主动分发到各地的缓存服务器中,使访问网站新内容或已更新页面的用户不必因缓存服务器临时下载新的网页内容而等待过长的时间。
?内容管理功能:又称“日志网关”。它的主要作用是从分布式的缓存服务器中收集网站内容。页面和Web对象的访问记录,并集中式的监管。统计和分析所有缓存服务器的当前状态和性能,以利于有效地管理CDN。当网站内容发生变更时,内容分发系统能够对缓存服务器中过期的内容定期地进行自动删除。
2 技术方案比较
采用远程镜像站点方案,各网站公司可以自主地选择在用户群大的地区设立镜像站点。但这种方案需要在异地的数据中心建设与原服务器一样的系统,并支付相应的主机托管费用。因此初期投资大、维护成本高,而且随着异地镜像站点的不断增多,成本将直线上升。
采用CDS方案有利于ISP、ICP、IDC以及最终用户等。对最终用户来说,CDS缩短了其访问等待的时间,减少了上网费用;对ISP来说,由于用户大部分的Web请求都由本地缓存服务器响应,从而为ISP节省了带宽资源;对IDC来说,内容分发服务作为一项增值业务提供给各网站公司,为IDC获得新的利润增长点;更为重要的是,CDS在提高网站客户满意度的同时,还从一定程度上减轻了网站源Web服务器的负载,降低了网站在异地建设和维护远程镜像站点的成本,因此使.com和企业网站等乐于租用此项服务。
内容分发技术是网络加速技术的一个重要补充,但不是唯一形式。内容分发服务与异地镜像服务两者具有一定的互补性,针对不同的用户可采用不同的服务。例如,对于具有相当实力和规模的大型网站来说,可根据网站的目标客户群选择在国内或国际重点中心城市建立自己的异地镜像站点,保证整个网站系统的广域网上的高可用性;而CDS主要是面对中、小型网站,或是大型网站在非中心城市的需求,从而达到利用较少的投资和维护成本即可提高各地访问速度的目的。
3 建立CDN的原则
建立CDN必须具备相当的条件。首先要有丰富的互联网网络资源,包括网络覆盖、国内网间带宽、国际出口带宽等;其次在各地都应具有一定数量和规模的IDC。对于在全国范围内具备各种规模的IDC运营商来说,可以在CDN覆盖城市的数据中心采用广域网负载平衡、局域网负载平衡、缓存服务器以及内容分发和管理等设备,形成覆盖全国主要城市的CDN。CDN原则上应该易于配置、管理和维护,具有较强的可扩展性、可用性和性能。此外,整个系统应具有强大的流量统计和状态监控管理能力。
为了使国内的CDN可以扩展到国外,可以考虑与境外运营商合作建立覆盖境外的内容分发网络。同时也可以与已建立了全球范围CDN的国标袒营商合作,把其网络延伸至国内主要城市。这样既可以便国内用户高速访问国外知名站点,也可以使国外用户高速地访问国内优秀的中文网站。具体采取何种合作方式,需要依据网络的投资额以及市场的需求来定。同时,在建立内容分发系统时需要特别注意的是,为保证本内容分发系统能够与国外众多CDN具有一定的兼容性,系统应尽可能支持国际上的主流内容分发服务组织联盟。
4 CDN应用实例
不同的CDN提供商实现的方式以及规模各不相同。如果要选择一个长期的合作伙伴,必须充分考虑其CDN的技术特点以及网络规模。以下是CDN的应用实例。
Adero公司已在全球范围建立了电子商务应用服务。该公司可在30多个国家开展服务,并且目前还在继续扩展其网络覆盖范围。Adero的GlobalWise应用系统和GlobalWise商务系统是针对一些已有现存网络的公司与其全球范围的客户沟通、交流而设计的。
CacheWare公司采用从源服务器到边缘服务器的特别方式实现内容分发和缓存技术。该公司的CacheWare Content Manager产品作为内容管理器在源服务杂和边缘服务器之间起到中介的作用,减轻了源服务器的负载。CacheWare将最新的内容“推”到边缘服务器上,而不是被动地等待边缘服务器的请求。
Cidera公司的网络是基于卫星系统的网络,该网络专长于传送数据流。目前Cidera公司已在北美和欧洲地区建立了300个以上的节点,2001年该网络将延伸至拉丁美洲和亚洲地区。除传送流媒体外,Cidera公司还提供静态内容缓存技术。它所提供的Usenet能够在ISP下载超大容量数据的同时,客户也在发送大容量文件而不阻塞网络服务器。
Mirror Image Internet公司建立了一个覆盖北美、欧洲和亚洲的全球性CDN。该公司专长于缓存技术,它所建立的CAP(Content Access Points)网络利用现有的IDC提供镜像。缓存和内容分发等加速服务。其特点是ICP无需修改自己的网页,只要进行DNS Setting,就可以在Mirror公司覆盖全球的23个地区加快其网站的被访速度。ICP可以向CAP发送既定的命令从而删除CAP上的过期内容。