为容灾(DR)做好预备
为可能发生的灾难做好充足的预备已经成为存储实施过程中所必须考虑的一个重要的环节了。毫无疑问,这一过程已经成为最具挑战性的任务之一。因为它不仅包含了各种硬件,软件以及相关的网络设备。而且重要的是必须能够通过各种情况下的测试,来保证在灾难真的发生时,数据能够及时地得到恢复。
在你下决心实施容灾前,首先有四个问题应该明确一下:
在灾难发生后的多长时间内我必须保证数据得到恢复。
天天要存取多少数据。
数据中心与灾难恢复设备之间的距离。
现在我是如何应用我的数据的,分层存储治理(HSM,Hierarchical Storage Management)还是备份。
以上这些问题将帮助你确定容灾所需的设备和投资。同时你也需要考虑你现在所使用的主机系统、应用软件和RAID硬件。事实上,一套完整的灾难恢复系统是十分昂贵的;你需要购买硬件、软件,并且还要培训专门的人员来治理维护整个系统。
数据复制是最大的问题。因为有两种类型的数据(记录在磁盘上的和记录于磁带上的),它们各有各的特点。所以在这篇文章里,我们将首先讨论关于基于磁盘的数据灾难的恢复,然后在探讨HSM数据的远程复制。
任何人想要实施容灾都必须进行数据复制。在大约十年前,数据的复制通常都通过sneaker net(编者注:用户从这里把文件复制到磁盘上,拿着磁盘到另一台计算机(这就是sneaker的意思)然后再把文件复制到该计算机的一种网络)来实现。在这些年中,网络得到了飞速地发展,在性能和速度大大提高的同时,成本也降低了很多。再加上相关软件的发展都为网络带来了更大的发展空间。这就使得RAID与主机之间的距离得到了延伸。
数据复制主要有两个主要问题:首先是其中一方数据的复制方法,通常有基于主机的复制和基于存储设备的镜像两种技术。其次是如何将数据传输到另一方。是通过WAN和ip还是通过暗光纤(Dark Fiber)和光纤通道(Fibre Channel).来连接。
我们必须要综合考虑以上这些产品和技术。因为一旦中途更改灾难恢复的计划和方法是非常麻烦的,同时肯定也是不便宜的。
复制
数据复制的两种最基本的方法为:基于主机的镜像和基于RAID的镜像。
当然,每种方法都有其自身的优点和缺点。当我们讨论任何一种镜像问题时,主要探讨的都是其是否为同步传输或异步传输,以及它的延迟问题。我经常引用闻名计算机专家John Mashey的一句话“钱可以买来带宽,但延迟是永恒的。”
基于主机的镜像
许多软件产品都拥有从主机上镜像数据的功能。通常这种方法的配置和治理都是简单易行的。但是它的缺点是会占用主机资源,如CPU,内存还有I/O带宽。还有你必须为每一台需要镜像数据的主机都安装一套软件。但最让我关注的是这种方法的延迟问题。
假如按设备I/O的方式分的话,可以分为两种:
同步传输——在数据到达RAID或磁盘之前,控制命令不会返回到应用程序。所以直到一个SCSI确认完成以后,才可以发送下一条I/O请求。
异步传输——只要I/O请求发送到操作系统,控制命令就返回到应用程序。
即使你使用异步传输镜像,假如你要进行大量的I/O通信,你就必须确保你有足够的带宽来完成镜像。并且你还要记住,充足的带宽不是唯一的条件。假如你进行同步传输镜像,你还必须计算好应用程序的预计延迟和传输速度的减慢。
在同步传输中还分为两种I/O类型:
当I/O到达其他RAID时,主机才收到回复
当I/O到达自身磁盘时,主机就收到回复
虽然对于第二种方法,现在看来有些保守。但它对于避免数据丢失这方面是强于第一种方法的。我发现基于主机的镜像经常与低端的RAID控制器一同使用。
成功地实施基于主机的镜像的要害是清楚主机中有多少数据需要复制以及数据什么时候开始写入。制作一张24小时数据流量的统计表格是帮助确定所需总带宽的好方法。假如在天天人们开始工作的时候,大部分数据已经完成复制写入的工作,而在大家下班后,你就可以继续运行基于主机的数据复制工作了。因为这时主机不再需要运行除复制以外的应用了。另一方面,假如需要传输数据的总量有限,总带宽充足的话,可以进行全天的恒负载传输。
基于RAID的镜像
现在的主流RAID硬件厂商(EMC, HDS, IBM, LSI等)所提供的应用软件几乎都提供了远程数据复制功能。这里的所谓远程可能是10km,也可能是10000km。当然,同时你还需购买相应的硬件和增加足够的带宽。
无论如何选择,延迟问题依然会存在。所有基于RAID的镜像也都存在是同步传输还是异步传输的问题。IT主管们必须决定使用何种I/O方式。
除此以外,你还应确定一些关于Cache使用中的可调选项:
有多少Cache将被用于镜像?
数据在被写入磁盘之前要在Cache中保存多久?
如何再写入另一个Cache?
以上这些可调参数能够对整个系统的性能和网络的使用产生很大的影响。
传输
一旦你确定了选用何种数据复制的方法,那么下一步你就要决定如何来传输你的数据了。是通过WAN和IP,还是暗光纤(Dark Fiber)和光纤通道(Fibre Channel)。
暗光纤(Dark Fiber)
大多数使用暗光纤(Dark Fiber)的镜像方案中,主机端和镜像端都是使用FC(光纤通道)来连接RAID控制器和FC交换机的。这样做的原因是FC(光纤通道)的缓冲区信用数(Buffer Credits)需要确定整个通道是否在高效率地运行,以及交换机是否有更多的缓冲区信用数(Buffer Credits)。假设在FC层中理想的延迟情况下,假如你想铺设50km 2Gb的光纤通道并保证能够满负荷正常运转地话,那么大约需要120个缓冲区信用数(Buffer Credits)。当然,具体数量还要参考你的FC网络的实际延迟情况而定。大多数FC交换机厂商为交换机的每个端口最多只提供了256个缓冲区信用数(Buffer Credits)。这对于想要在更远的距离外进行镜像的用户来讲确实是个难题。不过有些厂商(如Celion)还是提供个单端口数千个缓冲区信用数(Buffer Credits)的产品,这样就可实现超远距离(超过3000km)的高质量数据传输了。
所以假如你想选择使用暗光纤(Dark Fiber)的话,那么你首先应该确定你的硬件是否能够满足所需的距离要求。其实,使用暗光纤(Dark Fiber)或SCSI组建的FC(光纤通道)的最大好处是在传输数据时不用进行协议转换。你可以在它上面运行那些RAID上所运行的本地协议,而不用顾及协议转换所造成的延迟和所增加的成本。
TCP/IP
事实上,TCP/IP的硬件连接与暗光纤相似,只是在两边终端的接口上增加了FC到IP的转换器。这样远距离的数据传输方式就由FC换成了IP。这样做的最大好处是这些转换器能够实现数据压缩功能。而这点却是FC所无法做到的。一些大型WAN路由器支持加密,这个功能在很多环境中是必需的。
网络中尴尬的摩尔定律
现在有两点因素正在使得复制变得越来越困难:
网络性能的发展没能跟上CPU的发展速度,而且这些CPU正在产生越来越多的数据。
网络性能的发展也没有跟上磁盘密度的发展速度。
现在,每个人都在谈论10GB网络连接,但是到现在我还没有见到一个拥有10GB速度的网络。根据摩尔定律,我们还将创造更多的数据到更大的磁盘上来,而我们只能将它们“托付”于2GB的FC。
我记得从2000年九月,第一块2GB的FC卡正式与我们见面开始。到如今FC磁盘的容量已经从36GB增长到了现在的300GB,而“2GB”依然没有改变。正如你所看见的,这样的数字对比是不正常的。
HSM(分层存储治理)
如今,我们对HSM(分层存储治理)软件的使用已经变得越来越普遍了。这主要是由于相比普通的备份恢复软件,HSM更适用于大型的存储环境。
通过使用HSM,原本只有10TB容量的物理磁盘在文件系统看来可能拥有1PB的容量。而多出的数据将被存储在能够进行数据压缩的磁带上。假如是高端磁带产品的话,那它的可靠性还要高于磁盘。
假如你正在考虑使用HSM软件的话,那么有两个重要问题你应该考虑:
你如何将数据从主机端传输到灾难恢复端?
你如何将保存的数据转移到新的媒介或系统上?
假如你想用RAID—RAID的方式复制数据,那就无法使用HSM。因为你没有另一端的主机来控制RAID或磁带上的文件系统。HSM软件的应用需要有主机来运行HSM文件系统。
几乎每一款HSM都有一种或几种数据复制到另一端的方法。主要有以下几种方法:
当磁带正在写入数据时,新的数据将被转移到另外的系统和RAID上。等磁带系统空闲时,再将数据从刚才的系统中移动回来。
直接将数据转移到另外的系统上,直接将其写入磁带。(没有磁盘转移)
使用扩展网络通道,将数据写入远程的磁带系统中。
将数据移动到RAID
将数据移动到远程系统的RAID上的过程通常就想是在本地发生的HSM过程。这个数据移动的过程通常都是通过TCP/IP网络来进行的。
在大多数产品中,一旦某个文件正预备或已经被存放到磁带上,那么这个文件的拷贝将通过TCP/IP网络被写入到远程的系统中。此时,远程系统上的HSM将接管这一过程。
假如你非常重视安全问题的话,你也许会想着在数据的传输过程中为它加上各种的加密算法。可能你以前所使用的加密方法都是在WAN中的路由器上实现的。但是,现在你是不是也想在主机端通过HSM软件来实现加密呢。假如是的话,你首先应该确定你主机的CPU是否拥有足够的实力来完成这一艰巨的任务。假如到时候真的因为加密而影响正常的网络速度的话,我可一点都不会感到惊异。
数据移动到远程磁带系统上
有些HSM产品能够将数据转移到远程系统上的磁带或虚拟磁带系统上。实际上,那些支持向虚拟磁带上转移数据的产品要远远好于只能用于磁带的产品。向虚拟磁带传输数据和向那些内嵌有HSM软件(用于治理磁带的Cache)的磁带系统传输数据之间并没有太多的不同。虚拟的概念在大型主机领域内已经存在了很长时间。如今应用于磁带领域。应该注重的是在你选择虚拟磁带产品的时候应该尽可能地使用高可靠性的RAID硬件,以确保在转移到磁带之前文件能够得到很好地保护。
因技术升级而产生的数据转移
现在已经完成了远程的数据备份,那么下面我们将可能面对就是如何把数据转移到升级后平台上。
几年前,我的一位客户问我如何能使数据保存50年。当时我们研究了包括MO技术、光学玻璃磁盘、磁带在内的当时所有存储介质。最后所得出的结论是:这不光是选择什么存储介质的问题。问题的答案应该是:包括磁带驱动器、硬件接口、HSM软件和各种相关的应用软件在内的一整套方案。
最好的例子就是七磁轨磁带(Seven-Track Tapes)了。这种存储介质至少能保存30年的数据。而这种磁带的驱动器也有超过30年的历史了,以至于现在想要找到一台都是十分困难的了。假如你现在还拥有完好的七磁轨磁带,并且想读取上面的数据的话,你就必须还要找到与之配套的驱动器、硬件接口、软件驱动以及应用软件。而这些在今天看来几乎是不太可能实现了。所以说即使是再完好的七磁轨磁带也只有纪念意义而已。
另一个例子是MS Word 1.0。记忆中那似乎是1983年的产品?不过你认为现在的MS Word XP 或者 MS Word 2000是否能够读取1983年的MS Word 1.0文档吗?据说Adobe PDF文档可以使用30年甚至更久。但是我还是发现很多公司现在已经将PDF换成了TIFF文档。不过我个人还是更情愿使用JPEG2000来替代TIFF。
我们的问题被扩大化了。应用软件、文件系统、HSM软件、计算机、驱动程序、接口、磁带驱动器、磁带以及那些需要被转移的数据都成为企业级存储所需面对的问题。
整个系统的每一个方面迟早都要面临升级,以保证已经保存的数据的可用性。当然,这对于大型的HSM系统来讲是十分昂贵的,并且还会有很多数据可能无法再使用。所以现在就应该熟悉到哪些是重要的哪些不是,转移那些并不重要的数据是没有必要的。
QQread.com
推出Windows2003教程
win2003安装介绍
win2003网络优化
win2003使用技巧
win2003系统故障
服务器配置
专家答疑
更多的请看:http://www.qqread.com/windows/2003/index.Html总结
对数据进行远程备份的过程需要周密地计划和高水平的技术实力。并且还要熟悉所使用的HSM软件的特性及其所支持的备份方法。确保网络有足够的带宽只是问题的一个方面,不要忘记前面John Mashey所说的关于带宽与延迟的话。只有真正地了解了你的应用软件和硬件才能更有效地应用你的网络。
不考虑转移问题,就等于拿你的数据在冒险。到底数据有多重要?这个问题有很多答案。但至少据我所知,很多公司的数据的重要性已经等同于公司本身了。假如你重视你的数据,那么一定要计划好什么数据需要保存,什么数据应该转移,并且还应知道什么时候应该采取行动。这并不是个简单的问题,当然也就没有简单的答案。