分享
 
 
 

数据仓库建模技术(2)

王朝other·作者佚名  2008-05-19
窄屏简体版  字體: |||超大  

三、概念模型

数据模型设计的第一步是对用户需求的归纳,需要综合考虑业务划分和用户组织两方面的问题,在明确需求的基础上,可以进行逻辑数据模型的设计,大致需要经过分为三个步骤,高层模型设计即概念模型设计,确定数据仓库的主要主题及相互关系;中层模型设计明确各主题域的实体;底层模型设计明确各个实体的属性。本章以国内某财产保险公司的业务为例介绍财产保险行业的数据仓库建模。

3.1 财产保险业务与公司组织机构

下图是国内财产保险公司的主要组织机构,

国内财产保险经营的主要保险业务如下,

• 机动车辆保险

• 家庭财产保险

• 企业财产保险

• 建筑安装工程保险

• 货物运输保险

• 船舶保险

• 航空航天保险

• 其它保险

3.2 数据仓库概念模型

目前保费收入还是国内财产保险企业的主要利润来源,在激烈的市场竞争中客户是竞争的焦点,在数据仓库中客户信息占有极为重要的地位;围绕着客户资料信息,客户的投保记录、索赔记录都具有极高的分析价值;另外合作伙伴对保险业务的开拓也具有重要地位,如保险代理人、经纪人等中介公司的相关信息。

3.2.1 基础数据仓库

基础数据仓库用以存储详细的业务数据,采取以客户信息为中心,各个业务环节数据为基础的中心-发散型结构,系统面向经营分析,以经营业务数据为主,如下图所示,

3.2.1.1 基础数据仓库概念模型介绍

―― 客户资料

负责存储用户的详细资料,主要的客户属性包括,客户ID、用户第一次投保时间、资料更新时间、业务类型、用户特征属性、用户类型、缴费情况、投保情况、信用情况、保费收入水平等等。客户资料主题的数据主要针对企业用户和大客户,在可能的情况下,尽量体现客户间的关系,比如某一家庭财险用户隶属于某一企业客户。客户资料数据体现最新的客户状态。客户资料永久在线保存,当客户资料发生变化时,旧的客户信息被转移到客户历史资料库中。在每一个客户的生命周期中,客户资料随时可能发生变化,客户历史资料数据详尽的记录每一次变化的细节,为以后客户信用评估和用户行为分析需求提供依据,客户历史资料永久在线保存。

―― 客户投保记录

以详细的保单数据为主,体现在某一时间段内客户的投保情况。由于数据量比较庞大,客户投保记录一般在数据仓库中在线保存两年,最长不超过五年。投保记录是业务分析最重要的数据基础,必要的时候,投保记录可以为很多业务提供数据支持,比如大客户管理等。

―― 客户缴费记录

记录用户投保后保费的缴纳情况,从中可以了解保险公司与每一个客户在不同业务的应收情况。是对业务发展的重要衡量依据,也是对客户群进行细分的重要指标。不同保险企业对缴费记录在线保存的时限要求不同,一般在一年以上,五年以下。

―― 客户索赔记录

客户索赔记录是过去客户每次索赔的详细记录,比如索赔金额、时间、保单号、立案号、险种、索赔清单、索赔单证、事故描述等,索赔记录是客户行为模式的重要组成,也是反欺诈分析、客户流失分析的重要依据。

―― 客户赔付记录

记录保险公司对每一个客户的每一笔赔付,主要的信息包括赔付时间、立案号、赔案号、单证、赔付计算情况、损失原因、赔付金额、是否通融赔付、通融赔付的原因和通融赔付金额等,与索赔记录相结合,可以了解保险公司对客户索赔的反应时间和处理速度

―― 客户退保/退费记录

了解用户退保和退费的情况,每一笔退保/退费的原因、时间、保单号、金额等等

―― 中介信息

描述中介公司的类型,比如经纪人、兼职代理人或专业代理人,各中介公司的业务量、保险公司之处的中介费用等等。

3.2.1.2 基础数据仓库概念模型的实现

概念模型的意义在于体现用户的需求和基本的数据组织结构,在实际的设计过程中,可能需要根据实际的业务情况进行模型的拆分。比如客户资料模型,针对不同客户的情况拆分成企业客户、个人客户、集团个人客户;投保记录模型,根据不同的业务拆分成车险投保记录、财产险投保记录、运输险投保记录、船舶险投保记录等,

根据不同业务情况设计业务主题

3.2.2 数据集市

详细业务数据是数据仓库的基础,但对于金融企业来说,对业务发展宏观情况的把握是比详细的客户分析更为迫切的需求。所以在初期任何金融行业数据仓库的应用都以对聚合数据的分析为主。聚合数据存储在数据集市中,数据集市的数据直接通过查询工具提供给最终用户,所以数据集市的设计直接关系到数据仓库应用的成败。现阶段,我国大多数金融数据仓库系统正处于初始阶段,其主要功能需求是了解各省分公司、子公司和各项业务的发展和运营情况,因此数据集市的设计是数据模型设计最重要的环节。数据集市的数据结构可以按照数据粒度和数据所体现的业务范围划分。

3.2.2.1 按照数据粒度划分

数据集市按照数据粒度的大小可以划分为三个部分,轻度汇总、中度汇总、高度汇总,汇总程度越高,数据粒度越大,数据在线保留时间越长,所体现的业务事实越宏观,如下图所示,

按照数据粒度划分的数据集市结构

轻度汇总数据可以支持很多对客户个体的业务分析,比如从基础数据仓库投保记录汇总生成每个用户一段时间的投保情况;中度汇总数据在业务分析中经常被用到,大多数情况用于对宏观客户群体的业务分析,比如制定保费政策时,可以通过中度汇总数据了解不同险种不同时间的发展和收益情况;高度汇总数据用于了解保险公司业务整体的运营和发展情况。在实际的设计中,可以根据用户需求决定针对不同的业务采用不同的数据粒度。

3.2.2.2 按照业务划分

按照业务进行数据集市结构的划分,可以把数据集市从总体上分为两个模块,综合业务分析模块和独立业务分析模块,如下图,

按照业务划分的数据集市结构

―― 综合业务分析

综合业务分析主要面向保险公司整体业务的分析,从综合业务分析可以了解保险公司的用户构成情况、中介发展情况、业务收入情况、赔付情况、共保/分保、客户服务、保费收入情况和竞争对手发展情况,从综合业务模块可以了解各个业务的总体发展情况,但由于各个业务属性的差异,详细的业务分析必须进入独立业务分析模块。

―― 独立业务分析

财产保险各业务、各险种的业务特点具有极大差异,对不同险种业务人员所关心的信息也不尽相同,所以各个业务在独立业务分析模块构成不同的分析主题;除此之外对有共性的业务进行综合构成综合的业务分析主题,比如个人大客户分析、企业客户业务分析就是把相关的业务主题进行综合的结果。

四、发展与扩充

数据仓库数据模型的设计在满足目前业务需求的基础上,必须考虑未来的业务情况和需求,需要认真考虑两方面的问题,

• 适应未来业务需求和技术环境的改变

• 数据仓库本身涉及业务范围的扩展

4.1 适应未来的变化

分段式数据仓库结构可以大大提升数据仓库适应变化的能力。在未来可能对数据仓库产生影响的变化无外乎两种,

• 业务需求的变化引致对信息需求的变化

• 技术环境的变化

4.1.1 适应业务需求的变化

用户需求的变化根据变化的程度和对数据仓库系统的影响被分为两个不同的层次,

―― 可自适应的变化

即信息的需求虽然有所变化,但利用已经存储在数据集市中的数据仍然可以支持,需要改变的只是数据访问和信息展现的方式,这不需要对数据仓库的数据结构进行修改就可以实现,在进行数据模型设计时,在保证查询效率的前提下,要尽量使各个业务主题可以满足最多的信息需求。

―― 需要调整的变化

即数据集市的数据虽然无法满足信息的需求,但可以从基础数据仓库中的数据获得,针对这样的变化有两种处理方法,

• 如果这个变化只是偶尔出现,可以直接从基础数据仓库的数据中进行数据的查询和分析,这样可能会牺牲一些性能,但不需对数据仓库的结构和数据模型进行修改

• 另一种方法是针对以后将频繁使用的新业务需求,可以采取修改现行数据集市和建立新的数据集市的方法实现,由于数据集市只是对基础数据仓库中相关的详细数据进行聚合,所以只需要很小的工作量就可以调整数据仓库实现新的需求。

4.1.2 适应技术环境的变化

技术环境的变化也是比较普遍出现的变化,比如业务系统的升级或迁移,可能对数据仓库的结构造成较大影响,分段存储区和基础数据仓库的使用,把这种风险降到最小。

分段存储区是业务数据进入数据仓库之前的缓存区,复杂的数据转换、清洗工作在分段存储区进入基础数据仓库时实现。当业务系统的数据结构发生变化时,可以利用从业务系统到分段存储区的数据抽取操作把这些变化与数据清洗转换操作隔离即在对新的业务系统进行数据抽取操作时,进行适当的数据结构转换,使分段存储区中的数据与原来保持一致,避免对数据仓库的数据结构和主要的后台处理程序造成影响。从业务系统到分段存储区的数据抽取程序只需十分简单的修改就可以实现需要的功能。

4.1.3 元数据管理的意义

元数据管理系统可以大大提高数据仓库系统适应变化的能力。元数据记录数据仓库过程中设计的业务规则、数据结构、数据移动规则等,一旦上述某一点发生变化,可以通过元数据管理工具,进行影响分析,定位需要修改的目

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有