Mary Roth,DBTI for e-Business, IBM 硅谷实验室
Dan Wolfson, DBTI for e-Business, IBM 硅谷实验室
2002 年 7 月
现今企业所面临的难题是管理因特网和电子商务所造成的数据量和多样性的爆炸。原本存在于 DBMS、内容管理系统、中间层高速缓存和数据仓库之间的界限正日益变得模糊，而迫切需要提供所有这些服务的统一视图的平台。我们提出了一种平台，它扩展了最新的联邦数据库体系结构，支持关系和 XML 作为主要数据模型，并紧密地了内容管理服务、工作流、消息传递、分析和其它企业应用程序服务。
简介
最近几年因特网和电子商务的迅猛发展引发了第二次“信息爆炸”。业界分析家预计：未来三年中生成的数据会比所有已记录的历史信息还要多 [INFO]。企业业务应用程序可以用以下两种方法之一来应对信息过载：被这些数据的庞大数量和多样性压垮，或者利用这些信息，并将其转换成可以用来在商业领域赢得竞争优势的有价值的资产。
因为采用基于因特网的商业交易模型的速度大大超过了用来处理“信息爆炸”的工具和技术的开发速度，所以许多企业发现自己在无意中使用着从前的方法。大量开发资源浪费在“快捷但不恰当的方式获得的”（quick and dirty）集成解决方案上，这些解决方案粗制滥造地将不同的数据管理系统（数据库、内容管理系统和企业应用程序系统）组合起来，并将数据从一种格式转换成另一种格式（结构化格式、XML 和字节流）。当应用程序面临可伸缩性和可用性问题时，收入就会减少。新的商机会被轻易地忽略，因为进行商业决策所需的关键性有用信息被所生成的大量数据“淹没”了。
在本文中，我们提出了利用“信息爆炸”的技术平台和多种工具，并提供了一个端对端的解决方案，用来透明地管理当今商业领域中庞杂的数据。我们将这种技术称为 信息集成（information integration）。IBM 提供了数据管理产品系列，这些产品支持使用系统的方法来解决企业如今所面临的信息集成难题。 信息集成技术预览中展示了其中许多产品和技术。
该平台的基础是一个一流的数据库体系结构，该体系结构无缝地提供关系数据和本机 XML 作为一流的数据模型。基于以下三个重要原因，我们相信数据库技术为信息集成平台提供了最坚固的基础：
首先，事实证明，DBMS 在过去 30 多年中，在管理传统业务应用程序中出现的“信息爆炸”方面取得了巨大成功。DBMS 能够很自然地处理与健壮的数据管理相关联的存储、检索、转换、可伸缩性、可靠性和可用性等方面的难题。
其次，数据库业界显示出它可以迅速适应过去 6 年中的电子商务应用程序引入的数据和访问模式的多样性。例如，大多数企业强度的 DBMS 都有内置的对象-关系支持、XML 功能和对外部数据源的联邦访问的支持。
第三，现在全球范围内都对 DBMS 技术进行了大量投资，包括数据库、支持工具、应用程序开发环境和熟练的管理员和开发人员。在所有级别上都利用并增强了 DBMS 体系结构的平台是提供健壮的端对端信息集成的最佳场合。
本文的组织结构如下：
简要回顾 DBMS 体系结构的 演变。
提供一个实际的 方案，它说明了信息集成问题的范围并概述了对技术平台的需求。
正式地讨论对技术平台的 需求。
提供了一个满足这些需求的信息集成平台的 模型，并提供了对于集成问题的端对端解决方案，作为 DBMS 体系结构的下一个发展步骤。
DBMS 技术的演变
图 1表示了关系数据库技术的演变。关系数据库是在存储、操作和管理大量数据的完整性的需求下应运而生的。在 20 世纪 60 年代，网络和分层系统（如 [CODASYL]和 IMS TM）是用于自动化银行业务、记帐和订单处理系统的一流技术，这些系统是由于商业大型计算机的引入才启用的。虽然这些系统为早期系统提供了良好的基础，但它们的基本体系结构将数据的物理操作与逻辑操作混合在一起。当数据的物理位置改变时（譬如从磁盘的一个区域移到另一个区域），也必须更新应用程序，以引用新的位置。
1970 年，Codd 的一篇革命性论文 [CODD]及其商业实现改变了一切。Codd 的关系模型引入了 数据独立性的概念，它将数据的物理表示与在应用程序中的逻辑表示分开。数据从磁盘的一部分移到另一部分或以不同格式存储，都不会导致重写应用程序。应用程序开发人员从单调的数据操作物理细节中解放出来，因而可以将注意力转移到特定应用程序上下文中数据的逻辑操作上。
关系模型不仅减轻了应用程序开发人员的负担，而且在数据管理业界造成了堪称楷模的转变。检索 什么数据和 如何检索数据的分离提供了一种体系结构，新数据库的供应商可以使用这种体系结构来对其产品进行改进和创新。 [SQL]成为描述应该检索什么数据的标准语言。新的存储模式、访问策略和建立索引的算法得以开发，以加速数据在磁盘上的存储和检索，并发性控制、日志记录和恢复机制方面的发展进一步保证了数据完整性 [GRAY]、 [LIND]和 [ARIES]。基于成本的 优化技术 [OPT]完成了数据库从作为抽象数据管理层到成为高性能的、大容量查询处理引擎的转变。
随着公司的全球化，以及公司的数据迅速地分布于其国内和国外的办公室，DBMS 技术的界限再次受到了考验。诸如 [R*]和 [TANDEM]之类的分布式系统表明：可以轻松地利用基本 DBMS 体系结构来管理大量的 分布式数据。分布式数据导致新的并行查询处理技术的出现 [PARA]，它说明了 DBMS 作为高性能的、大容量查询处理引擎的可伸缩性。
图 1. DBMS 体系结构的演变
在用分布式和并行算法扩展 DBMS 时获得的经验还引起了 可扩展性方面的发展，由此，即插即用组件改变了单一的 DBMS 体系结构 [STARBURST]。这样的体系结构使得在出现新的业务需求时，可以轻松地引入新的抽象数据类型、访问策略和建立索引的方案。稍后，数据库供应商将这些吸引人的技术向顾客推广，相关的产品有 Oracle 数据部件（Oracle data cartridge）、 Informix® DataBlades®和 DB2® Extender TM。
在整个 20 世纪 80 年代，数据库市场已经成熟，各公司试图基于一家数据库供应商来进行标准化。但是，做生意的实际情况通常使此类战略变得不切实际。从独立部门的购买决策到合并和收购，在一个 IT 部门中存在多种数据库产品和其它管理系统的方案屡见不鲜。企业寻找一种方法来降低与此类异构环境相关的管理和开发成本，数据库业界则以 联邦作为响应。联邦数据库 [FED]提供了用来透明地访问异构的、分布式数据源的功能强大而又灵活的方法。
现在我们处于一个由因特网支持并由电子商务的剧增所推动的革命性的新时期。在过去的六年中，Java TM和 XML 已经成为可移植代码和可移植数据的实现手段。为了适应变化，数据库供应商已经能够利用数据库可扩展性和抽象数据类型方面先前的发展成果来快速提供对象关系数据模型 [OR]、将关系数据作为 XML 文档存储和检索的机制 [XTABLES]和 SQL 的 XML 扩展 [SQLX]。
由于开发和部署复杂的基于因特网的应用程序得到了简化，从而显著地加速了使业务过程自动化的步伐。本文的前提是：现今企业所面临的难题是 信息集成。企业应用程序不仅需要和数据库交互，还需要和关系数据库并行发展的内容管理系统、数据仓库、工作流系统以及其它企业应用程序交互。在下一节中，我们用一个从实际问题中抽取的方案说明了信息集成的挑战。
方案
为了满足其高端客户的需求并管理大量帐户，一家金融服务公司打算开发一个系统，以便尽可能快地使管理、添加和分发研究信息的过程自动化。该公司订阅了几种用研究信息标记语言（Research Information Markup Language，RIXML）格式发送数据的商业研究刊物，RIXML 是一种将投资研究与描述报告元数据标准格式结合起来的 XML 词汇表 [RIXML]。报告可能会通过各种机制传递，譬如实时消息馈送、电子邮件分发列表、Web 下载和 CD ROM。
图 2. 金融服务方案
图 2 显示了这些研究信息是如何在该公司流转的。
当接收研究报告时，以它的本机 XML 格式归档。
接下来，将诸如公司名称、股票价格、收入估算等重要的元数据从文档中抽取出来，并存储到关系表中，以使它可用于实时和深入分析。
举个实时分析的例子，关系表更新可能引起触发数据库触发器来检测和建议买／卖／持有价位方面的变化，这些变化被迅速发送给股东、证券受托人和经纪人。即时性对于这些接收者而言至关重要，因此这些信息立刻在多处得到复制。触发器也启动了对关键客户的电子邮件通知。
举个深入分析的例子，更彻底地分析原始文档及其被抽取的元数据，寻找诸如“合并（merge）”、“收购（acquisition）”或“破产（bankruptcy）”之类的关键字，以对内容进行分类和汇总。然后将汇总过的信息与该公司的市场调查部和投资银行业务部可用的历史信息合并起来。
这些部门将总结过的信息与存储在电子表格和其它文档中的信息合并起来，以执行趋势预测，并识别合并和收购机会。
需求
要用当前的技术构建金融服务集成系统，该公司必须将许多原本并不能很好地彼此共存的管理系统和应用程序拼凑到一起。DBMS、内容管理系统、数据挖掘包和工作流系统都可以购买，但该公司必须自行开发集成软件以集成它们。数据库管理系统可以处理结构化数据，但 XML 资源库是目前刚刚才面市的。每当增加了新的数据源或信息必须流转到新的目标时，就必须扩展客户自制的解决方案。
上述的金融服务示例以及类似的其它示例表明：原本存在于 DBMS、内容管理系统、中间层高速缓存和数据仓库之间的界限正日益变得模糊，而迫切需要提供所有这些服务的统一视图的平台。我们相信，一个健壮的信息集成平台必须满足下列需求：
无缝集成来自多个异构数据源的结构化、半结构化和非结构化数据。数据源包括诸如数据库、文件系统、实时数据馈送和图象及文档资源库之类的数据存储系统，以及与垂直应用程序（如 SAP 或 Calypso）紧密集成的数据。必须很好地支持标准元数据交换、模式映射和无模式处理，并且支持标准数据交换格式。集成平台必须支持合并（从多个数据源收集数据，并存储到中央资源库）和联邦（多个自主源的数据作为搜索的一部分来访问，但数据本身并不移动到平台上）。正如金融服务示例所示，平台还必须提供透明转换支持，以支持多个应用程序重用数据。
对存储、交换和转换 XML 数据的健壮支持。对于许多企业信息集成问题而言，关系数据模型太过严格，以致无法用它来有效地表示半结构化和非结构化数据。很明显，XML 比关系数据模型能够表示更多样化的数据格式，因此 XML 成为了企业集成的“通用语言”。水平标准（如 [EBXML]、 [SOAP]等）提供了一种语言，用于交换数据的独立过程，而垂直标准（如 [RIXML]）则旨在处理特定行业的数据交换。结果是，技术平台必须支持 XML，并在所有级别上针对 XML 进行优化。本机 XML 存储是绝对必要的，此外还需要用于 XML 数据检索的有效算法。有效的搜索需要诸如 [SQLX]和 [XQuery]之类的 XML 查询语言支持。
对高级搜索能力和分析已集成数据的内置支持。集成平台必须支持两种语言。旧的 OLTP 和数据仓库使用 SQL，而集成应用程序采用 XML。内容管理系统利用专用 API 来管理和查询各种不同的助诊文件集，如文档、音乐、图像和视频。整体系统性能和数据转换操作与数据源之间的路径长度自然地存在着反比关系。因此，无论数据是本地管理的，还是由外部数据源生成的，也不论它是结构化的还是非结构化的，技术平台都必须提供对数据的有效访问。要合并的数据在存储前可能需要进行清理、转换和抽取。要支持需要进行深入分析（譬如上述示例中的银行投资业务部）的应用程序，对于通常与文本搜索和数据挖掘相关联的全文搜索、分类、群集和汇总算法，平台必须提供集成支持。
在业务过程中透明地嵌入信息访问。企业在很大程度上依靠工作流系统来规划业务过程。上述金融服务示例是 宏流（macroflow）的示例，宏流是捕获业务过程的多事务步骤序列。其中每个步骤又可能是 微流（microflow），微流是在单个事务中执行的步骤序列，譬如插入从研究报告抽取的数据并因此触发数据库触发器。稳固的集成平台必须提供工作流框架，该框架透明地支持与多种数据源和应用程序的交互。此外，许多业务过程本质上就是异步的。数据源和应用程序在常规基础上开始和结束。数据馈送可能会被硬件或网络故障打断。而且，最终用户（如繁忙的股票商）可能不想通读信息，而更愿意在感兴趣的事件发生时获得通知。集成平台必须嵌入消息传递、Web 服务和队列技术以允许数据源间歇的可用性、延时和故障，并支持应用程序异步性。
对标准和多种平台的支持。当然，集成平台必须在多种平台上运行，并支持所有相关的开放标准。生成数据的数据源和应用程序集不会减少，因此健壮的集成平台必须足够灵活，以便在新的数据源和应用程序出现时透明地合并它们。与 OLTP 系统和数据仓库的集成要求很好地支持传统 SQL。要成为有效的业务集成平台，要合并跨行业的标准（如 [SQLX]和 [XQuery]）以及支持垂直应用程序的标准 [RIXML]。
易于使用和维护。现今的客户早就需要集成服务，并已经用自己的解决方案将这些服务拼凑起来以集成数据和应用程序，而这些解决方案的开发和维护成本都很大。要提高效率，则替代这些自己的解决方案的技术平台必须降低开发和管理成本。无论从管理和还是开发的角度来看，技术平台都应该尽可能不可见。技术平台应该包括所有数据源公共的数据模型和一致的编程模型。技术平台必须提供元数据管理和应用程序开发工具，以辅助管理员、开发人员和用户构造和利用信息集成系统。
体系结构
图 3 说明了我们对健壮的信息集成平台的建议。
该平台的基础是 数据层，它提供了对来自基本数据源的不同格式数据的存储、检索和转换。我们相信，基于增强的功能齐全的联邦 DBMS 体系结构来构建这个基础层是极为重要的。
服务层构建在基础之上，它是从内容管理系统和企业集成应用程序中抽取的，用来提供将数据访问服务透明地嵌入企业应用程序和业务过程的基础结构。
顶层针对数据层和服务层提供的丰富的服务和数据集提供了基于标准的编程模型和查询语言。
图 3. 信息集成平台
数据层
如图所示，数据层是增强的高性能联邦 DBMS。我们已经描述了 DBMS 成为管理结构化数据的健壮的、高性能和可扩展的技术所经历的演变。我们相信基于 DBMS 体系结构的基础将允许我们将这些关键的优势利用和扩展到半结构化和非结构化数据。
存储和检索。可以将数据存储为结构化关系表、半结构化 XML 文档，或诸如字节流、扫描文档之类的非结构化格式。因为 XML 是企业应用程序的“通用语言”，所以用 XML 文档的本机格式存储和检索它们的一流 XML 资源库是构成数据层有机整体的必要组件。这个资源库是真正的本机 XML 存储，它能够识别和利用 XML 数据模型，而不仅是改头换面的关系记录管理器、索引管理器和缓冲区管理器。它可以充当 XML 文档资源库以及用来合并联邦数据的中间区域（staging area）。在这个角色中，XML 数据的元数据和 XML 数据本身一样重要。这种混合了 XML／关系存储和检索的基础结构不仅确保了两类数据格式的高性能和数据持久性，而且提供了企业数据库管理系统期待的 24x7 可用性和可扩展管理能力。
联邦。除了本地管理的 XML 和关系数据存储器之外，数据层还利用了具有灵活的包装器体系结构的联邦数据库技术来集成外部数据源 [WRAP]。外部数据源可以是传统数据服务器，如外部数据库、文档管理系统和文件系统，或者，它们也可以是企业应用程序，如 CICS® 或 SAP，甚至可以是工作流实例。这些数据源可以提供结构化、半结构化或非结构化数据。
服务层
服务层利用企业应用程序集成系统、内容管理系统的特性，并利用数据层所支持的增强的数据访问能力来提供嵌入式应用程序集成服务。
查询处理。除了为完全不同的数据提供存储和检索服务之外，数据层还提供成熟的查询处理和搜索能力。数据层的核心是成熟的联邦查询处理引擎，它执行 XML 和对象-关系查询与执行 SQL 查询一样流畅。可以用 SQL、SQLX 或 XQuery 表示查询，可以将数据检索为结构化数据或 XML 文档。对于不提供此完全查询和分析能力的数据源，联邦查询引擎提供了功能补偿，使得在这些数据源上支持此类本机操作，并且引擎还提供有效扩展来支持诸如市场趋势分析或生物复合相似性（biological compound similarity）搜索这样的功能。
除了标准查询语言构造以外，本机函数还将有保障的消息传递和数据库触发器集成起来 [MQDB2]，以允许基于数据库事件（譬如来自于实时数据馈送重要的新信息块的到达）自动触发通知。
文本搜索和挖掘。对于在信息海洋中“航行”，并定位到对企业应用程序有用的上下文中，Web 搜寻和文档索引服务很重要。服务层利用数据层提供的数据联邦视图，在原始的和合并的 XML 文档以及所抽取的元数据上提供组合的参数和全文搜索。必须对非结构化信息进行分析和分类，以用于企业应用程序，而对于实时决策，答案的即时性是其质量的关键组成部分。技术平台集成了诸如 文本智能挖掘计分之类的服务以从文档抽取关键信息并创建摘要，根据预先定义的分类方法对数据分类并根据平台从文档内容中自动收集的信息来集中文档。将内置的计分功能（诸如 智能挖掘器）集成到查询语言 [SQLMM]中会将感兴趣的数据转换成可操作的数据。
版本控制和元数据管理。随着企业应用程序越来越多地采用 XML 作为信息交换的语言，生成了大量 XML 助诊文件，如 XML 模式文档、DTD、Web 服务描述文档等。这些文档是在多个位置由多方编写和管理的，很快就造成了分布式管理的难题。服务层包括符合 WebDav 的 XML 注册表，可以在分布式环境中轻松地管理 XML 文档生命周期和元数据。 [WebDAV] [XRR]。注册表的特性包括版本控制、锁定和名称空间管理。
数字资产管理。集成的数字权利管理能力和特权系统对于控制对数据层所提供内容的访问很重要。要实现这些目标，信息集成平台使用了丰富的内容管理特性集（如 IBM Content Manager中提供的特性）来提供对多种格式（如文档、视频、音频等）的数据、多种语言、多字节字符集的搜索、检索和分级服务，并提供对这些数字资产的控制和跟踪访问。
转换、复制和高速缓存。内置复制和高速缓存工具 [CACHE]和并行性可以在企业发展时提供透明的数据可伸缩性。将数据从一种格式抽取和转换成另一种格式的逻辑可以构建在现今数据库引擎的约束、触发器、全文搜索和对象关系特性之上。通过利用这些 DBMS 特性，数据转换操作发生在尽可能靠近数据源的地方，这样使数据移动、数据源和目标之间的代码路径长度变得最小。
应用程序接口
企业应用程序可见的顶层是应用程序接口，它由编程接口和查询语言组成。
编程接口。完全支持传统的编程接口（如 ODBC 和 JDBC），简化了旧应用程序的迁移。此类传统 API 是同步的，因而并不太适合于原本就是异步的企业集成。数据源的出现和消失、多个应用程序发布同一服务以及复杂数据检索操作会花费更多的时间。为了简化此类多样而数据丰富的环境所带来的固有复杂性，平台还提供了基于 Web 服务的接口（ [WSDL]和 [SOAP]）。此外，该平台包括基于消息队列和工作流技术 [MQ] [WORKFLOW]的异步数据检索 API，以透明地调度和管理长期运行的数据搜索。
查询语言。和编程接口一样，集成平台对可用于旧应用程序的标准查询语言进行了增强，使它支持使用 XML 的应用程序。 [XQuery]作为用于主要使用 XML 数据模型的应用程序的查询语言而受到支持。 [SQLX]作为用于需要混合数据模型的应用程序以及用于旧 OLTP 类型应用程序的查询语言而受到支持。无论使用什么查询语言，所有应用程序都可以访问数据层支持的联邦内容。应用程序可以发出 XQuery 请求，以透明地连接来自于本机 XML 存储、本地关系表和从外部服务器检索的数据。而另一个（或同一个）应用程序可以用 SQLX 发出类似查询。
结束语
由于广泛地采用因特网标准和技术而给企业应用程序带来的信息爆炸，已经明确提出了对信息集成平台的需要，使用该平台可以帮助利用信息并使企业应用程序可以使用这些信息。构建健壮的信息集成平台的挑战是严峻的。但是，构建此类平台的基础已经面市。多年来，DBMS 已经展示了管理和利用结构化数据、随企业发展而升级和迅速适应新需求的卓越能力。我们相信，用本机 XML 能力增强，并与企业应用程序服务、内容管理服务和分析紧密耦合的联邦 DBMS 是提供健壮的端对端解决方案的合适技术。
作者简介
Mary Roth是 IBM 硅谷实验室 Database Technology Institute for e-Business 的高级工程师和经理。她在数据库研究和开发方面有 12 年以上的经验。作为 Almaden 研究中心的研究员，她对异构数据集成技术和联邦查询优化方面的关键性发展有所贡献，并领导了在 DB2 中实现联邦数据库支持的工作。Mary 正在领导着一组开发人员开发 Xperanto 的一组关键组件，Xperanto 是 IBM 用于分布式数据访问和集成的信息集成倡议。
Dan Wolfson是 IBM Database Technology Institute for e-Business 的一名高级技术人员和经理。Dan 在分布式计算方面具有 15 年以上的经验，他的广泛兴趣范围，涉及数据库、消息传递和事务系统。目前，Dan 是 Xperanto 的首席架构设计师，他致力于 DB2 与 WebSphere、MQ Series®、工作流、Web 服务和异步客户机协议的集成
