分享
 
 
 

备份已死……备份永生!

王朝other·作者佚名  2008-06-01
窄屏简体版  字體: |||超大  

备份?!

虽然我们拥有了越来越多的用于备份与恢复的新方法,但是我们依然还是要面对来自今天复杂的IT环境的挑战。

现在,几乎所有的公司主管都知道要为自己的IT系统配备一种叫做“备份”的东西。但是是否真正理解所谓“备份”的含义就是另外一回事了。每当这些主管们一听到IT经理跟自己说“备份”,脑子里也许马上就会联想到为整个磁盘系统做一个拷贝,然后保存在磁带介质上,而整个过程都将交给“备份”软件来完成。对“备份”的这种印象主要形成于对早期计算机系统的熟悉。在从前,所谓“备份”就只是简单地给数据做多余的拷贝,以备在原始数据丢失或损坏时能够及时恢复使用。而这也就意味着需要一种非凡的软件用一种非凡的方法来实现数据拷贝的整个过程。正是由于这种需要对数据进行备份的观念在每一个公司主管和IT经理心中根深蒂固的原因,才会出现几乎现在每个商业公司天天都要使用这种软件和方法来保护他们数据的现象。

也许一般人并不认为这有什么不妥,但是今天的情况与以前有所不同。虽然数据拷贝能够替换丢失或损坏的信息,而且这一点也正在变得越发重要。但是对于保护如今这种分层的、多层次多系统的、布满分布式应用的IT环境来讲,已经不是只依靠传统的备份方法就能解决的了。

现在有很多新兴的技术和方法不断地涌入这个市场。但是即便如此,它们中的很多还是无法提供目前所需的理想的数据保护功能来满足如今复杂的IT环境的需要。我们需要的是既能保存单独的信息(如电子邮件),又可以把整个的应用服务堆恢复到“Known-good”状态的保护系统。换句话说,如今的备份所需要的是一种拥有更加复杂且成熟的方法来保护整个系统和数据的综合方案。

备份的要害

信息备份的要害问题就是在需要时能否即使将所需的内容恢复。不过这个重要的概念—恢复是备份的要害 却经常被我们所忽略。而一定要做备份这个观念却在人们的思想中根深蒂固。多年以来,人们对于诸如缩短或彻底消除备份窗口(编者注:所谓备份窗口就是完成一次给定备份所需的时间)等问题给予了很大的关注,而各个存储厂商也一直在不遗余力地加快备份的过程。然而有太多的公司根本就没有测试过他们的备份系统是否能够有效地完全恢复整个系统。即使做了,也不是在一个正规稳定的基础上完成的。对此,大多数CIO自己也承认他们的备份—恢复策略存在很大的缺陷。终于还是9.11事件改变了人们观念。据悉,大约有三分之一的美国公司因此而改变了自己平时的备份习惯。同时,大多数的IT经理们也将他们关注的焦点由曾经的“做备份”转移到了现在的检查数据和系统的可恢复性上来了。

对完整的应用服务堆栈进行恢复是备份一个弱点。原因之一就是不管是从全备份还是增量备份或差异备份中进行恢复都是一个既耗时间又轻易出错的过程。虽然像磁带这种顺序存储介质在恢复数据过程中都会产生瓶颈。但是由于其较随机存储介质—磁盘拥有低得多的单兆字节存储成本,因此磁带一直被认为是最好的备份介质。可是,假如把磁带驱动器和磁带库的成本考虑进去的话,那么它较其他介质的成本优势就变得不那么明显了。而且那些移动部件(如机械臂)的寿命将影响到整个磁带系统的使用寿命。

磁带与磁盘之争由来已久。不过,在现在看来,磁带依然还有很多很明显的优势,例如磁带的便携性以及磁带盒不会出现像磁盘一样的磁头损坏的问题。因此,磁带对于那些需要长期离线保存归档数据的用户来讲依然拥有很大的吸引力。并且在转移极大量数据的时候,使用磁带的成本要低于使用因特网的成本。还有一个我们必须面对的事实就是,很多IT机构,尤其是那些大型公司的IT部门总是倾向于拒绝更换那些他们长期使用的产品。

更重要的是,在传统备份方法中的那种在能够及时捕捉系统在某一个特定时间点的镜像的能力是建立在两个基本前提的基础上的。第一点是:从备份开始一直到结束的整个过程中,那些备份的目标文件都不能够有任何改动;第二点是:从那些备份软件能够访问的磁盘上,可以获知整个系统的状态。然而,如今的应用程序之间的相互依靠性正在不断加强。同时,不管是它们彼此间的,还是它们与联网的多台服务器上的数据库间的通讯往来也正在日益密切。

每一个应用都拥有自己独有的“属性”。例如:完成一个规定的进程需要几步;来自用户或其他应用的哪些请求尚待处理;自己向其他应用或数据库所发出的请求中哪些尚未得到处理等等。在任何时候,磁盘上的内容与应用逻辑属性之间是没有必然或必需的联系的。现在让我们来探讨一下问题出在哪里:一个关于历史记录真实重现的根本分歧来源于,如何要求一个已经重现的应用在备份系统中得到根本性恢复。

完成使命

对于基本问题的解决方案就是:保存整个应用系统在特定及时点“point-in-time”的状态以及提供从单个数据对象到整个系统的及时恢复。这种传统问题的解决方案一般可以分为三种:

新兴解决方案改进了现有备份的方法。其中包括:虚拟磁带产品、D2D2T(Disk-to-Disk-to-Tape)的备份方法,还有就是来自文件系统或卷快照的备份。它们都属于新兴方案。其中一项非常有趣的改进就是增加应用认知(Application Awareness)技术,它使得备份工具拥有了能够发现甚至控制应用所处状态的能力。因此备份功能就可以保存应用的已知及时点镜像了。同时,这个过程还需要使用应用所提供的APIs( 应用程序接口)。一些主要的数据库和应用程序包(例如Oracle 和 SAP的)都与存储工具一直保持着紧密的合作。但是它们的作用只限于备份那些和它们有关联的应用。而对于其它那些不光包含有与它们关联的应用的系统来说,与它们的合作就显得不那么轻易了。其他的工具如Dantz的 Retrospect, Veritas的NetBackup和 BackupExec, Legato的 NetWorker等等都是针对整个系统而进行的备份,而被它们所“认知”的应用和数据库包括:Lotus Notes/Domino、 Microsoft Exchange、Oracle (DBMS 和/或 applications),、SAP R/3等。

基本解决方案使用的是完全不同的技术来为数据的提供额外的拷贝。其中的一些主要技术如下:

1、镜像(Mirror,也叫做RAID 1)为磁盘卷提供了一个块到块(block-for-block)的复制。原始磁盘的镜像卷一旦完成,往后磁盘上的所有写操作都将在原始磁盘和镜像拷贝(在某些情况下镜像拷贝不只一个)上同时进行。镜像得以“同步”完成的前提是原始驱动器和镜像拷贝驱动器都必须要保证在一个写操作完成前,后面的写操作必须等待。虽然这样做会降低应用性能,但是保证了彼此间卷镜像的准确同步。而与之相对的就是非同步镜像。在这种情况中,原始驱动器和镜像拷贝之间的写操作不必保持同步,它们各自相对保持完全独立。因此,从应用的角度来讲非同步镜像要快于同步镜像。但同时,在任何一个规定的及时点上,非同步镜像都有可能发生其他镜像拷贝与主镜像拷贝不同步的情况。实践中,在一个数据中心内部,原始卷的写操作完成后,其对应的镜像拷贝过程很少会超过一分钟。此外,这两种技术都可以应用在异地远程领域,但是对于同步镜像而言,距离越远,它的性能就越低。

镜像经常被使用在很多要害性的应用上,并且为数据恢复的实现提供了一种最快的实现方式。假如需要恢复应用,只需使用镜像拷贝来代替原始磁盘,并且整个过程在瞬间即可自动完成。但是,镜像只有整个的卷才能被恢复。就是说单独的文件不能被有选择的恢复,除非一组镜像在之前就已经被“分开”,并且这之后所有写操作的拷贝也将不再添加到已形成镜像拷贝中去,而是在镜像组被“分开”的同时形成一个原始系统(镜像对象)的镜像文件。只有在这种情况下,才可能恢复某些选定的文件。镜像的另一个缺点是每一个镜像磁盘的容量都必须要不小于原始驱动器的容量,而不管真正需要使用的容量到底多大。

主要的镜像产品有:EMC的 SRDF 和 MirrorView; Hewlett-Packard的StorageWorks Data Replication Manager; Hitachi的ShadowImage;以及IBM的PPRC,它们都是优秀镜像软件的代表。此外,大多数RAID自身都内置有内部磁盘间的镜像功能。

2、快照(Snapshot):就是在一瞬间即可生成一个磁盘卷或文件系统的拷贝。快照使用了一种叫做写入拷贝(copy-on-write)的技术,即在一个及时点(Point in time)上的快照完成了以后,任何新写入的数据(包括现有数据块的升级)都不会覆盖现有的数据,而是转存到另外的位置上,以保证原始数据的完整性。那些生成快照的软件或硬件都将对那些最初的原始快照中的数据块的情况进行跟踪,这其中也包括那些“活动的卷”。每个快照都可以进行单独的装载。在它完成装载的一瞬间,即可为应用提供对所需卷的访问。有些产品也答应对快照所生成的内容进行修改(新的写入或升级)。

假如快照对象没有被过大规模地修改过,那么多次的快照也只是会多占用非常小的存储空间。仅仅通过使用快照,就能够把整个卷恢复到以前的某个及时点的状态。并且同时还可以把这个卷重新定义为“活动卷”,进行继续跟踪。不过前提是所使用软件或应用必须支持这种特性。快照恢复数据有两种形式,一种是直接用最近的快照内容对快照对象进行替换,另一种是装载快照拷贝并手动转移所需文件。任何做了快照的及时点上的单个文件都可以被有选择地单独恢复。在底层,快照对象较以前的改动越大,新产生的快照所占的存储空间就越大。对装载后的快照进行访问会直接降低应用的性能,这是因为装载后的快照要与快照对象共同使用原来只是分配给快照对象的存储设备。另外,对于那些都将使用到同一个卷的各种应用来说,卷上所有的数据都处于同一个状态。每当考虑到这个情况时,我们通常就没有方法确定一个特定的快照能否完全反映一个及时点内的所有信息。

代表性的快照产品有:BakBone的 NetVault;CommVault的 Quick Recovery;Computer Associates的 BrightStor High Availability Manager; EMC的SnapView 和 TimeFinder; FalconStor的 IPStor Snapshot Copy; 以及 Network Appliance的 SnapRestore 。

3、复制(Replication):不光只能为一个或一组相关的文件,还可以为整个文件系统或数据库,保存一份完美的拷贝。 与RAID1相类似,复制也是通过使用应用认知(Application Awareness)来为某个应用的具体数据保存完美的拷贝的。这点的实现可能是应用或数据库本身的特性,但同时也可能是通过应用的APIs( 应用程序接口)来实现的。例如DB2、Oracle、 SQL Server以及其他数据库都拥有自己的复制方法,各种应用亦然如此,例如Microsoft Exchange 和 Lotus Domino。

数据库复制拥有很明显的优势,即能够保持所复制的数据的读取一致性(Read Consistency)。这是因为在整个过程中,复制拷贝都会以实时或者分批的方式,针对主数据库(即复制对象)的更改,来调整自己与之同步的过程。主数据库与复制拷贝数据库可以使用不同版本的DBMS软件或操作系统。并且我们还可以有选择地恢复某个单独的资料表(table),甚至是单独的record。但是,在复制拷贝中,我们只恢复所需数据资料的最新版本。

通过使用日志,任何一个卷、数据库或文件的所有写和update操作都会在一个分离的区域、文件或设备上得到完整的记录。一份日志并不是一个对原始系统的拷贝,而是一份连续的关于写操作的历史记录。日志将向每个已记录的项中添加新的信息,其中包括在写操作中所涉及数据的原始位置以及写操作发生的时间和所涉及的内容。通常情况下,以上过程都是非同步完成的。与镜像和复制那种必须忠实地记录原始卷上任何数据所发生的所有的改变不同,一个做了日志的卷,甚至只是一个做了日志的文件都能够在数据尚未发生改变之前“回滚”(Rolled Back)到以前的某个及时点。但是,像快照这种在没有进行应用认知的情况下,在任何一个给定的及时点上,系统都有可能无法获得某个应用在一贯状态下的数据。

在典型的商业环境中,写操作大约占了全部I/O应用的20%。因此,随着时间的流逝,日志将会占用更多的存储容量。一般情况下,日志总是与镜像和复制一起混合使用,以便作为一种完整的卷、数据库或应用的灾难恢复方案。某些中立性的解决方案是无法深入了解应用和操作系统具体情况,如StorageTek的 EchoView 和 Vyant的 RealTime。

混合解决方案融合了以上的这些方法。例如将来自快照的所有文件都重新写入磁带介质——这样既提供了及时点拷贝,又消除了备份窗口问题。有些产品,例如XOsoft的Data Rewinder,就把应用认知与文件系统日志(File-System Journaling)结合到了一起,为每个应用的状况以及与这个应用相关的数据都提供了Known-good 快照。

EMC计划推出一个混合的解决方案,就是将VMware的虚拟机快照技术与自己的数据保护产品相结合。最终目的是将整个服务器以及其上面所运行的各种应用都简单地看成是另外的一些数据来并加以保护。例如,在同一时刻可能有多个卷快照发生,这其中也包含一个VMware 快照。而就在这多个卷快照同时发生的时候,一个应用也正好进行到了一半。在这种情况下,虚拟机快照就会自动暂停,等那个进程完全结束后再继续刚才的任务。这样就解决了所谓的应用认知问题。据悉,目前Veritas也计划通过使用自己的Ejasent产品来获得类似的解决方案。

建议与忠告

我们永远无法找到一种能够“包治百病”的解决方案。但是,还是可以找到一些任何组织的备份策略都应该遵守的共同原则。

备份策略

备份的要害是恢复。任何备份策略都必须对其恢复功能进行测试。并且还要,尽早测试,经常测试。

不要只关心磁盘、文件和服务器。假如数据块和文件已经拥有了可恢复的能力,那么这对你来说应该是一个好的开始。但也只是一个开始。今天的商业系统所需要的是一种能够及时地将那些复杂的,多部分的应用和服务完好无损地恢复原样的保护能力。

从应用的角度来考虑恢复。例如,它是如何保存它的数据的?它还与其他什么应用相联系?假如这个应用恢复到了以前的某个状态或者是重启,那么与它相关的那些应用将会做何反应?假如那些相关应用也这样了,那这个应用又会怎样?任何一个应用都要依靠其他的应用,因此要把它们作为一个紧密的整体来保护。

不分大小,都要考虑。恢复那些丢失或损坏的电子邮件、测试文档或有声邮件与恢复整个系统同样重要。恢复一个完整的数据中心,虽然这几乎不可能,与建立一个完整的数据中心同样至关重要。

要多思考犯过的错误,而非经历过的失败。每个人都明白确保数据不因硬件故障而被损坏的重要性。但是还有很多的数据损失是由于那些直接或间接的人为因素所至。这其中包括:文件被偶然无意删除;或者是在恢复一连串数据库记录时被某个程序的错误所打断。此外,甚至还包括那些由不满员工或病毒所发起的对数据的主动损害事件等等。

你的策略是否考虑到了信息的归档和保存。这其中包括文档治理和内容治理系统(处理“固定内容”,“活动内容”,或者二者兼顾),以及归档/数据保护系统。后者主要用于满足法规,如Sarbanes-Oxley, HIPAA, DoD 5015.2, Rule 17a-4等。

备份方案

考虑“组合”。与之相类似的就是选择多种不同的金融工具来组成一个平衡稳定的投资组合。同样,我们也应该使用多种不同的备份技术来组成一个稳妥的备份方案。每个组织对于备份的具体要求都各有不同。并且随着时间的流逝,同一组织中的像风险容忍限度(Risk Tolerance),预算限制等因素也都会发生改变。因此,在选择备份方案之前的一个基本步骤就是根据自身的具体情况来确定哪些应用和数据在天天的使用中较其他更重要,哪些拥有最高优先级。组合备份方案的其他部分也都要照此进行。同时还要注重不要忽略考虑那些不那么明显的资产,尤其是可恢复性的重要性。

具体,具体。对于针对每一项需要保护的资产(从办公桌上的工作站一直到复杂、多部分的应用和服务器)所选择的备份方案中的每一个产品都应该与它们的保护需求相匹配。具体方面如下:

目标恢复时间(RTO,Recovery Time Object)——你的应用、系统和/或数据需要多久才能被恢复?那些使用各种备份技术(如镜像或集群)生成的资产拷贝,为我们带来了最快的(同时也是最贵的)RTO。磁带作为离线存储设备是目前最慢的方法。

目标恢复点(RPO,Recovery Point Object)——假如某个应用、系统和/或数据忽然失效,那么能够在多近的及时点上将它恢复?

恢复目标间隔(ROG,Recovery-Object Granularity)——那些需要被恢复的目标有多大?整个系统有多大?以及磁盘卷、文件、电子邮件、数据库的记录,它们各有多大?

恢复时间间隔(RTG,Recovery-Time Granularity)——你怎样才能将时间静止,以便恢复你的资源?是否必须在一个特定的工作日结束之前,将所有恢复完成?还是在特定的几小时,几分钟,甚至几秒钟之内完成?

自我一致性(Self-Consistency)—— 对那些应用、系统和/或数据所做的能够及时被完好恢复的保证到底有多大的可信度,或者说是恢复后的它们到底能有多完美?这个问题的答案直接关系到那些资源恢复后的可用性。能否把那些相关的对象组合为一个整体,并将其看作一个单独的实体加以保护?随着时间的流逝,定义或改变这样一个团体有多困难?

弹性(Resiliency)——所选择产品的容错能力如何?这种说法确实很泛泛,从具体的小问题如设备,软件或网络的所发生的错误,一直到那些宏观的大事件如断电、火灾或洪水都可算在其中。当然,还包括那些人为事故。

QQread.com

推出游戏功略 http://www.qqread.com/netgame/game/index.Html

魔兽世界

跑跑卡丁车

街头篮球

水浒Q传

龙与地下城OL

征服

轩辕剑5

FIFA07

热血江湖

大唐风云

梦幻西游

武林外传

总结

不管最终使用什么技术,任何好的备份策略都需要IT经理们真正地转变他们的观念。即在不要把全部考虑的重点都集中在所谓的“做备份”和治理介质等事情上。他们真正应该做的是计划如何在需要的时候将那些服务器,及其上面的那些应用服务全部及时恢复为原貌。你必须要认真考虑应用间的相互依靠性,还有就是这些应用是如何处理各种错误的(如:应用间通信的忽然中断等)。我们的目标是制定一个全面的备份策略。在这个策略中,每个应用系统都被看作是一个集合的实体,并加以保护。在这个集合中,任何成员之间的每一个同步错误都是不可容忍的 。

成本经常被认为是一个重要的制约因素。没有哪个解决方案能够满足所有要求。一个好的备份策略总是包含了各种不同的技术,从传统的磁带备份一直到新兴的日志,镜像和快照,以及应用认知(Application Awareness)软件代理(可以对单个信息进行恢复,如一个文件或一封电子邮件)等。只有这些技术的综合应用才能够将一个应用服务堆恢复到“known-good”状态。备份应该是一系列产品、方法和步骤的有机组合,它能够帮助一个组织,根据自己所有的IT资源的具体情况,建立相应的保护优先权,并合理分配那些备份投资。

我们应该把备份当作一个组织整体的IT系统中非常重要的一个部分来考虑。通过了解每个公司对于数据风险的可承受度,我们就能够确定其所需备份软硬件的特性和功能。风险可承受度(Risk tolerance)不是一成不变的,它经常伴随着法规的改变而改变;同时也会因应对不同的自然灾难和恐怖活动而有所调整。但是,那些因人为错误而导致的一些重要信息无法恢复的现象通常将造成更大的灾难。

IT系统已经成为整个商业环节中最让人放心不下的部分。很多时候它运行的正常与否已经关系到一个公司的正常运转甚至生死存亡。我们最大的希望就是再也不需要为健康和生命购买保险。但是事实上,我们不得不这么做。因为我们无法承受那些灾难带给我们的巨大损失。一旦有事情发生,保险公司处理(或赔付)的速度和效果将会对人们生命安全的保障产生很大的影响。因此,精明的消费者在选购保险时,会十分看重保险公司曾经的信用和声誉。备份与保险十分相似!

只要拥有以上方法中的一种备份策略,就足够让某些人安心。假如你能保证你的备份策略在需要的时候能够及时将那些重要的应用服务和数据完整地恢复,并且拥有高效率和高可靠性。那么可以说,你的选择是明智的。

适用于SMBs的备份策略

假设有这么一间小公司,它拥有10个雇员,1台Microsoft Exchange服务器,一些数据库,一个文件/打印服务器以及一些测试系统。并且这个公司极其依靠于Exchange。因为他们与其他公司之间的商务往来主要依靠电子邮件的形式实现。除此以外,还有很多工作也要使用这个平台。因此必须保证它自身和连接的可用性及可靠性。这间公司不是一间24*7商店。所以,非工作时间的运行故障是可以容忍的。但是在工作时间内,运行故障一旦超过1小时,就将会给公司带来很大的损失。保存在文件/打印服务器上的文件是非常重要的。公司的大多数 “产品”通常是由员工在Exchange服务器上共同完成的,并在完成后统一保存在Exchange服务器上。针对这样的一个小公司的备份策略组合应该包括以下几个方面:

在Exchange服务器和数据库服务器上进行基于文件系统的,且分别拥有Exchange认知(Exchange-aware)和数据库认知(Database-aware)的日志。这将使得任何及时点上的数据都拥有了从丢失或损坏中复原(Undo)的能力,并提供了一份对自我一致性(Self-consistency)的保证。理论上,这个带有Exchange认知的方案应能够恢复单个的邮箱,文件夹甚至是邮件。但是实际上却无法达到。至少,就目前这个公司的预算来说是无法达到的。

使用带有Exchange认知的传统备份软件(可以完成单个邮件级的恢复)。虽然其RPO和PTO都不太理想,但这足以满足这个公司的恢复间隔(Restore Granularity)。

定期对文件/打印服务器进行基于主机软件的快照。根据相关的目录树(Directory tree)及时修订RPO和PTO。另一种方法是用NAS设备取代现在的文件服务器,但这样做并不会增强现有的数据保护能力。

为所有的服务器和工作站提供基于网络的传统备份。这样做不仅保护了所有的信息,同时也提供了一种维护公司所有数据的离线拷贝的方法。为实现同一目的,还有就是对Exchange服务器和数据库服务器进行的快照。

假如资金和硬盘容量答应的话,可以提高桌面工作站的日志级别。即通过卷为其提供复原(Undo)保护,以及任何及时点上的文件级的恢复间隔。同时这也解决了那些总是喜欢将自己的系统“个性化”的员工的后顾之忧。

QQread.com

推出游戏功略 http://www.qqread.com/netgame/game/index.html

魔兽世界

跑跑卡丁车

街头篮球

水浒Q传

龙与地下城OL

征服

轩辕剑5

FIFA07

热血江湖

大唐风云

梦幻西游

武林外传

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有