元数据管理的五种成熟度
当企业内外部的数据越来越多时,元数据管理就会成为许多公司的一个关键问题。本文从用户、处理和技术的不同角度,描述企业元数据管理的不同成熟度模型和企业沿着成熟度阶梯向上提升的步骤。
对于什么是元数据,目前存在着许多种不同的描述。本文中的元数据包括技术上的元数据和业务上的元数据。技术上的元数据指数据源的位置、数据访问协议(ODBC、JDBC、SQL*NET等)、数据源的物理结构(如数据库描述、表定义、栏目描述等)、数据源的逻辑结构(ER模型、目标模型、实体模型)等。业务上的元数据指与信息获取有关的上下文信息、定义企业组织机构和产品层级的分类法、用来定义商业术语的控制性词汇的词汇表或参考数据,例如医学词典、金融术语等。
所谓元数据管理,就是对技术元数据和业务元数据进行管理,其目标是为了提升共享、重新获取和理解企业信息资产的水平。不对元数据进行管理或管理不得当,信息将被丢失或处于隐匿状态而难以被用户使用,数据集成将十分昂贵,不能对业务进行有效支撑。终端用户要识别相关的信息将十分困难,最终用户将失去对数据的信任。本文描述了元数据管理的五级成熟度模型。各个公司可以依据本公司人们怎样处理元数据的行为特征,利用它作为指导,决定公司目前所处的级别。
第一级: 随机状态(Ad-hoc)
行为特征 在这一级上,对元数据的管理是随机的。元数据由某个人或某一组人员在局部产生或获取,并在局部使用。在大多数时间里,元数据是隐匿在信息中,比如存储于诸如Word、Excel等形式的办公文档,这些文档使用的术语仅局部的用户能知道其确切含义。人们通过与“责任人”直接通信或通过信息会话来获取这些知识。在局部环境工作数月或数年后,人们使这些元数据以及对它的理解内在化,使对这种信息有习惯性的理解。
在这一阶段,元数据通过组织机构缓慢的传播或根本不传播,这取决于局部小组与其他小组间的通信量的大小,这些元数据可能永远“待”在该局部小组或某个人那儿。如果这样的小组或个人调离,则这种元数据信息可能永远丢失。
人 元数据知识保留在人的大脑中。在这种环境中,知道(或不知道)与谁交谈对于理解元数据成为一件十分重要的事。
处理 元数据要通过与“责任人”的交谈才能共享。新来者需要通过他们的日常工作来学习元数据。外部人员难以理解元数据,他们必须与“责任人”交谈才能得到他们想要的东西。因为元数据在局部产生或抓取并在局部使用,所以通常也只能在局部修改,这种修改通常也不会通知公司里其他的组织。
技术 可以用各种不同的工具来生成元数据。绝大部分是面向个人电脑的应用软件。例如,ERWin可用于数据库建模,Rational用于为对象建模、Excel用于生成商品列表等。这些工具都没有设计成可以交换信息,因此,只能在当地的文件系统中保存所生成的元数据。
第二级: 发现
行为特征 在元数据管理的这一级上,可以发现在不同企业之间的元数据。像第一级的情况一样,元数据仍然在局部产生和抓取,然而,它处于可发现状态,这样的元数据在企业一级显露,使得每一个对它有兴趣的人都能随时了解“什么已经存在”。元数据仍然可以在局部级上维护,然后更新中央知识库,但它们仍然使用不同的命名法。结果,相同的名字被用于表示意义不同的事情,而同一件事情则使用了几个不同的名字。
尽管如此,相比之下,从不同来源来的数据和数据的含义已经具有了更多的透明度。对于商业用户,如果他们需要,现存的技术可为他们提供有关数据的来源和怎样对数据进行计算的信息。
人 人们开始感知到共享元数据信息的重要性。业务分析员、数据拥有者和应用开发者现在自觉地将元数据信息加载到中央知识库中。
处理 元数据知识经由中央数据库进行共享。凭借对中央知识库地理解,人们能够发现在其他应用系统中的数据。然而,由于使用术语的不同,人们互相之间需要交流,以便弄清某些元数据的含义。而且,由于元数据的更新不受任何方式的控制,使得这种更新没有告示或贴切的分析。
技术 有一些元数据管理工具可用于共享来自数据源的元数据,并能把来自不同建模工具的逻辑元数据导入到元数据知识库中。AG Rochade、Unicon、MetaMatrix是该类产品的一些例子。然而,除了以商业含义来定义数据表格的栏目名之外,这些工具没有一个能很好地抓取元数据。
第三级: 管理控制
行为特征 这一级对元数据的修改进行集中管理。局部业务单元或开发小组如不通知其他的元数据保管者和用户,就不再能按照自己的想法对元数据进行修改。在一个地方发起的元数据的修改将传播给其他地方。有各种工具和方法可用于不同业务单元之间交换元数据。为了整合不同数据源中的数据,仍然必须用手工进行数据的映射,以解决不同数据源的数据整合。但是,这种映射在一个中央知识库上进行维护和管理。
人 数据拥有者、应用开发人员、用户和其他的数据保存者现在比以往任何时候更清楚元数据管理的重要性。人们遵循有关元数据管理的“监督”处理操作规程。在对元数据进行修改前,他们就分析这种修改将会产生的影响。他们认识到元数据的共享将使组织的运作更有效,并使他们的生活更轻松。
处理 建立了监督体系结构(谁是数据和应用的拥有者),监督资产(数据仓库、数据集市、命名标准)和流程(何时开始更新、如何更新)。
技术 有几个工具经常被用于元数据的监督处理。SchemaLogic是一种新兴的工具,通常被用于帮助监督处理发现业务的词汇及其分类。还有一些软件提供商正在相互竞争,以填补这一空间,但还没有一家能提供商用的产品。
第四级: 优化
行为特征 在对元数据实施集中存储并通过监督体制对元数据进行管理后,企业会发现,通过标准化和整合可以实施有意义的优化。为了优化各业务单元之间的各种冲突和各个副本,人们开发了一个企业数据模型和词汇表。人们可以将这些标准模型和词汇表用于各种新的应用。时机成熟时,可以把各种老的应用迁移到这些模型上。
人 在这一级,人们坚持不懈地探索优化的途径。人们协同工作,通过在数据的入口点确认数据的有效性来提高数据的质量。通过确定各业务实体的权威数据源,使数据的映射达到最小化。数据开始从一个业务单元平滑地流到另一个业务单元,而不用担心昂贵的数据集成成本。
处理 首先,生成企业数据模型,并在中央知识库进行维护。第二,对数据模型中定义的每一个实体确定权威数据源或企业应用的主参照数据,然后将业务的上下文信息和含义与这些数据源进行关联。在整个组织中对业务的词汇表进行标准化。鼓励应用开发小组使用这些标准化的术语,来生成、传播和表示信息。
技术 目前,仅有少数几个能帮助企业实施优化的工具。而且,每一个工具只能完成其中一到两个任务,还没有哪个工具能做企业优化所需的所有事情。
第五级: 自动化
行为特征 在这一级,元数据管理是自动进行的。当在逻辑层次发生元数据更新时,它们将被传播到物理层次。反之,当在物理层次发生更新时,逻辑层次将被更新,以反映这种更新。在元数据中的任何变化也将触发业务工作流,以处理其他各个业务系统所需的相对应的任何修改。由于各个应用系统遵照相同的词汇表,它们之间的关系可以通过知识本体进行推断,所以,各应用系统之间数据格式的映射自动产生。
人 人们把元数据管理作为常规业务的组成部分。就像电信网对业务的支持一样,元数据成为组织运作中一种关键的、普遍存在的、无形的资产。元数据管理变成业务处理的一个主要组成部分,而且,整个业务运作都要依赖于它。事实上,如果元数据管理实施得很好,人们可以无需关心它在何处。在自动化级,元数据管理成为一种使能器,而不被视为一种障碍。
处理 在这一级,元数据管理的处理较为理想。绝大多数处理是自动完成的。人们从手工和程序处理过程中解放出来。他们在元数据判定上可以工作得更有效。当业务变化时,由知识工人对企业数据模型、词汇表和知识本体进行维护。这样一种改变立即会在各个应用中反映出来。例如,假如一个新产品被引进,把它加到企业词汇表和知识本体中,这一情况将自动地被传播给金融系统、制造业系统和营销系统。使得每个应用系统无需花费昂贵的代价,去完成相应的修改。
技术 各个应用必须使用企业数据模型、词汇表和知识本体来获取、传播和表示数据。人们开发了各种代理,将数据从一种格式翻译成另一种格式。为了实现这些功能,当前正在展开知识库表示和知识集成方面的许多研究。