• 快捷搜索
  • 全站搜索

保险ODS系统架构及设计

2014-01-17 11:15:20作者:中国太平洋保险集团股份有限公司信息技术中心 杨进玉编辑:金融咨询网
随着数据量的增长以及对数据质量要求的提升,单纯的OLTP查询已经无法满足保险业务对数据的使用需求。为实现跨部门、跨业务系统数据的集中和共享,提供准确一致、统一且标准化的数据服务,并实现有效的数据质量监控与检查,ODS系统的建设显得愈加重要和迫切。

ODS(Operational Data Store,操作性数据存储)的概念最早是由“数据仓库之父”Bill Inmon提出的。Bill Inmon认为,业务应用环境中的数据经过转换和整合进入ODS,提供了一种全局的、集成的和即时的企业操作视图,能够支持企业及时性的决策需求,同时,能够在分散的业务系统和支撑决策分析的数据仓库之间构建一个缓冲,使得数据之间的转换变得相对简单和可控。

        而Kimball(Ralph Kimball是数据仓库和商务智能领域的权威专家)认为ODS在两种情况下是需要的:第一种情况是提供操作型报表,这些报表需要提供面向主题的、集成的数据,所以操作型的源系统无法提供;另外这些报表和数据仓库中的报表也不相同,因为它们可以是一些定制好的、写死在程序中的报表。第二种情况是需要提供实时的信息时,由于EDW的更新频率一般都是24小时,而用户会有更急切的需求来了解数据源的信息,这时,建立操作数据存储是很有必要的。

        ODS是企业数据架构中最为复杂的一种形态,既要满足数据事务操作要求,又要满足数据分析要求,因此ODS系统的建设也是一项具有挑战性的工作。根据数据刷新实时性的不同,ODS系统可划分为以下几类:Ⅰ类ODS:数据延迟为1~2秒,实时或近似实时;Ⅱ类ODS:数据延迟为2~4小时;Ⅲ类ODS:数据延迟为12~24小时。目前,国内保险业ODS需求基本均为Ⅲ类ODS系统。数据延迟时间越短,ODS建设难度和成本越高,但是,实时性可以为企业决策提供最为及时的分析数据。所以,如何高效地对海量数据的变化进行及时的捕捉、采集并加载到ODS系统是问题的关键。在国内已经在运行的ODS系统中,Ⅰ类ODS几乎很难看到。

系统功能和目标

        随着数据量的增长以及对数据质量要求的提升,单纯的OLTP(联机事务处理系统)查询已经无法满足保险业务对数据的使用需求。监管报送、统计分析、决策支持、业务拓展等管理类系统在原数据中心体系下暴露出各种问题,如:业务系统间处理过程不一致、相同或相近功能重复建设、管理标准不统一、应用分析需要来自多个业务系统的数据做支撑等等。为解决上述问题,实现跨部门、跨业务系统数据的集中和共享,提供准确一致、统一且标准化的数据服务,并实现有效的数据质量监控与检查,ODS系统的建设,显得愈加重要和迫切。保险ODS 系统具备以下功能。

        • 统一规范操作数据模型,整合已有数据,建设统一的数据交换及处理平台。

        • 建立一体化的数据服务机制,实现数据服务的提供、管理、发布和使用功能,支持技术扩展和业务应用的快速判断。 

        • 减少各业务系统数据之间的传输环节,提高数据使用效率,实现业务数据的主题维度规划,提高数据共享效率。

        • 统一实施共性的数据加工活动,减少基础设施应用的重复开发,提高整体实施效率,降低整体开发成本。

        保险ODS系统的功能如下:

        • 隔离业务系统和应用系统,降低数据交换的复杂性和风险。

        • 转移部分业务系统细节查询的功能,减轻业务系统的查询访问压力。

        • 全面覆盖各业务系统,形成统一优质的数据中心。

        • 建立数据标准,提供统一的业务数据口径。

        ODS系统的ETL处理平台其目标是形成一个数据交换中心,对于各个业务系统间批量数据的交换,不再由各数据的需求方系统直接连接数据供应方的数据库去取得,各个业务系统可以直接向ODS系统数据处理平台供数,或者ODS数据可以主动从各个业务系统做数据采集(存量数据采集和增量数据采集)。后期由ODS系统统一向各个应用分析系统(如EDW,ECIF,BAS等)提供接口数据支撑,无需数据应用分析系统从各个业务系统中采集数据。这样将系统间数据交换的网状模式,改为星形模式,减少了系统间数据耦合度,并为将来进行企业级的元数据统一及管理提供基础平台。

        作为企业的数据总线,ODS每日采集各业务系统源数据,加载到ODS,进入下一个处理环节。在管理历史数据的同时,对数据进行标准化处理和汇总加工,构建统一数据模型,支持各类集市与应用。各业务部门可按权限共享使用全部业务数据,为业务拓展、管理分析、决策支持提供丰富、统一的数据支持。

        ODS系统在业务系统和应用分析系统(EDW、ECIF、BAS、CRM等)间形成一个隔离层。在ODS建设之前,大量的报表、分析是由业务系统直接支持的,但一些比较复杂的报表生成过程中,对业务系统的运行产生相当大的压力。ODS的数据从粒度、组织方式等各个方面都保持了与业务系统的一致,那么原来由业务系统产生的报表、细节数据的查询自然能够在ODS中进行,从而降低业务系统的查询压力。

 1 2 3 4 下一页 尾页

扫码即可手机
阅读转发此文

本文评论

相关文章

频道最近更新

频道热门文章