分享
 
 
 

数据仓库元数据管理

王朝other·作者佚名  2008-05-19
窄屏简体版  字體: |||超大  

1.1.1 第一章元数据概论

企业的计算机系统每年会产生很多数据,很多企业面临着这样的困境,难以有效的管理大量的、繁杂的、不一致的数据,并方便地访问、利用这些数据进行辅助决策。

建立数据仓库提供一个方法,把数据转化为有用的、可信赖的信息,支持商业决策。建立数据仓库一个重要的工作是元数据管理。元数据(Metadata)就是数据的数据,用于建立、管理、维护和使用数据仓库。。元数据管理是企业级数据仓库中的关键组件,贯穿于建立数据仓库的整个过程。

元数据使得用户可以掌握数据的历史情况,如数据从哪里来?流通时间有多长?更新频率是多大?数据元素的含义是什么?对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下,在瞬间万变的商业环境下,元数据可以更好的支持需求的变化,降低项目风险。

通常把元数据分为技术元数据(Technical Metadata)和业务元数据(Business Metadata)。技术元数据是描述关于数据仓库技术细节的数据,这些元数据应用于开发、管理和维护数据仓库;业务元数据从商业和业务的角度描述数据仓库的数据,提供了良好的语义层定义,业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。

元数据贯彻于建立数据仓库的整个过程,不只是ETL过程需要元数据的支持。

图1 元数据的应用

在使用元数据的同时,随着数据仓库市场的发展,业界出现许多数据仓库管理和分析的工具,各种工具使用不同的元数据标准来表示和处理,不同系统之间的迁移、数据交换变得困难。于是,我们希望用一种单一的元数据标准,使得各种组织的元数据具有单一的元模型(MetaModel),因此,需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。

1.1.2 第二章元数据标准

1.1.2.1 一、元数据标准CWM

OMG于2001年颁布元数据标准CWM 1.0(Common Warehouse Metamodel Version 1.0)。CWM定义一个描述数据源、数据目的、转换、分析的元数据框架,以及定义建立和管理数据仓库的过程和操作,提供使用信息的继承。

目前宣布支持CWM的厂商包括:IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。

CWM基于3个工业标准:

UML - Unified Modeling Language,OMG建模标准;

MOF - Meta Object Facility,OMG建立元模型和模型库的标准,提供在异构环境下的数据交换的接口;

XMI - XML Metadata Interchange,OMG元数据交换标准。

UML在CWM中得到充分的应用,担任3个不同的角色:

1),UML用来做为与MOF对应的meta-metamodel。UML相当于MOF Model,,UML Notation和OCL(Object Constraint Language),被用来做为建模语言、图形符号、约束语言,定义和描述CWM。

2),UML用来创建元模型。UML,特别是Object Model 包描述的子集,用来从其它元模型继承等级和关联以建立CWM。

3),UML做为面向对象元模型(object-oriented metamodel)。UML被用来描述面向对象的数据。

CWM元模型包括大量的子元模型(sub-Metamodel),这些子元模型描述了建立数据仓库和商业智能的各个主要部分的通用数据仓库元数据。

主要包括:

1)、数据资源:包括各个元模型,描述了面向对象数据、关系数据库、记录、多维和XML等数据。

2)、数据分析:包括描述数据转换、OLAP、数据挖掘、信息展现、商业术语等的元模型。

3)、数据仓库管理:这包括数据仓库过程以及数据仓库操作结果的元模型。

CWM元模型设计的目的是最大化的重用对象模型Object Model (UML的子集) ,尽可能的共享通用的模型构建。最典型的是,CWM重用/依赖对象模型来描述面向对象的数据资源;另外,其它类型的数据资源的主要Metamodel元素,在对象模型中都有相同的模型元素与之相对应。

1.1.2.2 二、使用CWM

1、CWM的目标使用者

CWM标准包括了技术元数据和业务元数据的定义,涉及数据仓库生命周期的所有阶段,所以不只是实施工程师和实施顾问使用CWM,最终用户也会受益于CWM。

CWM的目标使用者包括6类人员:

1,数据仓库平台和工具供应商;

2,专业服务咨询商;

3,数据仓库开发者;

4,数据仓库管理员;

5,最终用户;

6,信息技术主管(CIO)。

2、基于CWM的数据仓库

CWM的目标使用者将会参与到开发和使用基于CWM的数据仓库的过程中;但并不是所有的角色需要参与整个过程,而是参与到下面列举的的4个阶段中的一个或多个:

1)、Establishment。实现和配置CWM,包括建立一个通用资料库。

2)、Build。使用CWM定义一个基线数据仓库配置(建立数据源和目的的交换路径)。

3)、Operation。操作和使用基于CWM的数据仓库。

4)、Maintenance。维护使用了CWM定义的数据仓库的配置。

1.1.2.3 三、CWM标准组织结构

CWM元模型使用包(package)和包等级结构来控制复杂性、提高理解性、支持重用。模型元素包括下面的包:

1, 对象模型包

对象模型包是构建和描述其它CWM包的元模型类的基础。

• 核心包。包括CWM核心对象模型的类和关联,被其它CWM包使用。

• 行为包。包括用来描述CWM对象的行为的类和关联。

• 关系包。包括用来描述各个CWM对象之间关系的类和关联。

• 实例包。包括用来描述CWM实例的类和关联。

2、基础包

基础包是表示CWM概念和架构的模型元素。

• 商业信息包。包括用来描述关于模型元素的商业信息的类和关联。

• 数据类型包。包括用来描述创建模型需要的特定数据类型构建的类和关联。

• 表达式包。包括用来描述表达树(expression trees)的类和关联。

• 关键字和索引包。包括用来描述主键和索引的类和关联。

• 软件部署包。包括用来描述软件在数据仓库中如何部署和配置的类和关联。

• 类型映射包。包括用来描述两个系统之间数据类型映射关系的类和关联。

3、资源包

资源包是用来描述数据资源和记录的信息。

• 关系包。包括用来描述关系型数据的元数据的类和关联。

• 记录包。包括用来描述记录型数据的元数据的类和关联。

• 多维包。包括用来描述多维型数据的元数据的类和关联。

• XML包。包括用来描述XML数据的元数据的类和关联。

4、分析包

分析包定义了如何对信息进行加工和处理,以及信息展示。

• 转换包。包括用来描述数据转换工具的元数据的类和关联。

• OLAP包。包括用来描述OLAP工具的元数据的类和关联。

• Data Mining包。包括用来描述数据挖掘工具的元数据的类和关联。

• 信息展示包。包括用来描述信息展示工具的元数据的类和关联。

• 商业术语包。包括用来描述商业分类学和术语表的元数据的类和关联。

5、管理包

管理包用于数据仓库管理和维护。

• 仓库过程包。包括用来描述数据仓库过程的元数据的类和关联。

• 仓库操作。包括用来描述数据仓库操作和查询结果的元数据的类和关联。

1.1.3 第三章建立元数据库

元数据库是用于存储元数据的地方,元数据库最好选用主流的关系数据库管理系统,支持CWM标准。一个元数据库还包含那些用于操作和查询元数据的机制;建立元数据库的主要好处是提供了统一的关键数据结构和业务规则,易于将企业内部的多个数据集市有机的结合起来;特别是,现在一些客户倾向建立多个数据集市,而不是一个庞大无比的数据仓库。

可以考虑在建立数据仓库(或数据集市)之前,先建立一个用于描述数据的、用于应用集成的元数据库,做好数据仓库实施的初期支持工作,对后续开发和维护有很大的帮助。

在拥有不同厂商、不同功能和不同元数据库的环境下,要实现两种产品之间的元数据同步是非常富有挑战性的工作。因为必须从一种产品中获得足够详细的元数据,将其映射到另一种产品中,再指出两者意义或编码的差别;通常系统有数百、数千个元数据,必须对每个元数据重复这一过程。

在整个数据仓库环境中,元数据管理工具可以从各个数据仓库组件中收集元数据,存储到元数据库中,然后向业务用户传递和展示正确的信息。采集、集成和描述元数据可以扩展到十分广泛的范围,可以在设计和建模的过程中,可以在数据转换、清洗和过滤的过程中,也可以在数据移植的过程中;可以从数据库/数据存储软件,和前端展示工具中得到元数据。

元数据库为整个企业的宝贵信息提供了详细的记录,保存数据存储位置和商业含义、生成和维护数据的主体、数据驱动的应用处理、与其它数据的关系以及数据的转换过程等。元数据库保证了数据仓库数据的一致性和准确性,为企业进行数据质量管理提供数据依据。

另外,元数据库还支持强大的查询和报表生成工具,用户使用报表工具可以查询元数据库,从元数据库获得重要的决策支持信息。

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有