• 快捷搜索
  • 全站搜索

浙商银行数据治理平台的建设

2017-11-28 16:09:31作者:浙商银行信息科技部总经理 宋士正 信息科技部 臧铖 唐瑞琮编辑:金融咨询网
为了满足浙商银行各业务部门的分析决策,提供良好的数据支撑,建设数据治理平台已刻不容缓。经过调研论证,并结合监管部门对银行业数据质量和数据标准的要求,浙商银行建设了富有浙商银行特色的数据治理平台。

为了满足浙商银行各业务部门的分析决策,提供良好的数据支撑,建设数据治理平台已刻不容缓。经过调研论证,并结合监管部门对银行业数据质量和数据标准的要求,我行建设了富有浙商银行特色的数据治理平台。该平台将为管理会计、资产负债管理、风险管理等系统提供规则统一且高质量的数据,以此实现数据的治理及管控。

现状与挑战

  目前,浙商银行的信息系统中存在很多未从根本上解决的数据问题,使得数据治理任重而道远。首先是数据标准的缺失,导致各业务部门对数据定义和理解的不一致性。其次是元数据未被有效管理,加大了数据应用开发的复杂性和系统维护的困难性。另外,数据存储缺乏规划、数据交换的技术手段单一,使得源系统中存有冗余数据且无法满足准实时性的数据需求。最后,由于缺乏规范的流程和统一平台,数据质量往往得不到有效保障。

  基于上述情形,浙商银行将数据治理视为基础性、长期性的工作,通过持续的数据质量改进,在制订全行数据标准的同时,建设企业级数据治理平台。数据治理平台的建设,需要克服组织结构碎片化的现状,将我行200多个分散的系统向协同化转变,制订符合高数据价值密度的质量评估标准,避免需求驱动机制下存在的无序和重复问题,通过数据应用的整体规划和全生命周期管理,使该平台可以提供全局性的数据整合及数据共享服务。

平台建设

  1.数据治理对策。数据治理的好坏是由用户数据价值决定的,并在实际使用过程中被验证。因此,在建设数据治理平台之前,我们在行内部做了大量的访谈,深挖痛点从而制订符合我行特征的治理目标,以保证数据在持续的更新过程中被接受,同时结合当前已有系统与未来的发展规划,完善数据治理管理方案。在总行信息科技部的数据中心,成立专门的工作组,负责制订和开发标准的流程管理制度,确保数据标准遵循全行统一规则并覆盖管理的全生命周期。从战略性高度将数据治理融入每一个信息系统,要求业务部门对数据治理工作高度配合、协同推进治理,要求科技部门积极保障数据治理工作的落实,从而在全行业务和技术条线上共同营造一个良好的数据治理环境。

  数据治理平台的建设首先基于数据标准的建立,并搭建标准数据集市以满足数据质量的要求。其次,完成数据管理现状、差异性及数据治理体系的咨询,制订数据治理体系架构和相关制度与流程,同时结合浙商银行各业务系统及其关联项目,补充标准数据集市数据。最后,建设元数据管理和数据质量管控系统,进行数据治理相关工作。

  2.数据治理与数据集市。数据治理的目标是优化数据,实现数据资产化。然而当前数据体量却与价值密度成反比,为满足实时数据处理需求,可通过资源快速组合,提高治理的精确度。除了规范采集端的执行策略,有必要建立一个基于数据资源整合的数据集市。数据集市是满足特定业务需求的组数据,依靠科学的ETL调度,改善数据处理流程,实现多部门、多主体对数据资源的交换和共享。

  数据处理流程需要完成源数据层数据向数据集市的抽取、转换和加载。经过初步的转换处理,数据将首先加载进入数据仓库临时数据区,在此基础上完成数据的进一步清洗和汇总计算,并最终生成数据集市的物理模型数据,以及其他为数据输出而准备的中间数据。作为数据治理平台数据流向的主要环节,源数据层的数据抽取均采用统一的Java抽数程序,包含调度与日志跟踪管理、脚本运行和回溯模块。

  数据ETL不仅要考虑各个处理步骤的先后次序和依赖关系,还要考虑出错处理等异常情况,因此设计与实施合理的ETL流程管理,才能满足数据加载的时间窗口要求。ETL任务的触发流程通过事件机制进行管理,配置每个任务的事件依赖关系,维护一张事件序列表,如果存在满足某个任务的关联操作,则触发依赖条件,将该任务提交至调度核心,执行数据交换。

  数据交换主要分为数据库抽取、数据加载和日志管理三个模块。数据库抽取是连接知识库与源系统、获取作业配置信息的过程,并以指定格式将源数据落地到原始文件区。而数据加载是通过获取作业信息,以指定的分隔符等,生成控制文件导入到目标数据库。日志管理则是将数据交换平台作业执行过程中的日志,根据不同的交换类型记录到知识库,方便用户定位和异常检杳。

应用实例

  1.治理情况。浙商银行数据治理平台,将数据以资产的形式进行管理和应用,通过流程和技术的相互协作,在满足合规监管的同时规避内部风险,并结合自身的数据管控政策,全面推进“全资产”经营战略转型。到目前为止,数据治理平台通过统一的数据标准整合了核心、授信、票据业务、资产池、计息引擎、信用卡等13个业务系统的近200张源表数据,实现281个产品标准、24个数据模型,完成了76个下游接口的设计,为资产负债系统、风险数据集市、管理会计、电子报表等系统提供了数据治理的保障,以实践工作验证了数据治理对发挥数据价值的关键作用。

  2.数据治理平台。数据治理平台是我行数据治理工作的核心产出,它的整体逻辑架构如图所示。

图片1.jpg
图 数据治理平台逻辑架构

  源数据层:提供整个平台的数据输入,它是平台的数据基石。

  数据导入层:可通过ETL工具和统一数据补录平台把数据加载到统一标准数据集市。

  数据存储层:基于科学的数据模型,存储和管理海量的历史交易数据和基于业务需求的汇总级数据处理结果,并为用户提供数据服务。这些数据按照逻辑数据模型,可分为临时层、历史层、整合层和接口层。

  中间服务层:通过对数据服务层中的数据进行适当的提炼、汇总,向用户提供报表、查询、数据挖掘和中间件服务等多种应用,并实现访问方式的多样化和信息存取的透明化。

  数据标准管理:将数据治理的政策和组织以及数据标准的内容进行固化,最大限度地实现自动化管理流程,降低手工干预。

  元数据管理:整合游离于企业各环节的元数据资产,为用户提供企业级的运行环境视图,便于浏览及分析元数据,从而了解和管理信息与加工处理过程的来源及它们之间的关系。

  3.运用效果。一是数据治理平台在推动数据集市建设、整合各系统数据时,按照统一数据标准实现复用和共享,并对数据进行清洗,最后达到流程的自动化,从而降低了数据治理的复杂度。二是依托企业级的元数据管理系统,数据治理平台使分散的数据治理整合进集成平台,实现全行级数据治理的物理载体,解决跨系统和跨条线时沟通成本高、协调难度大的问题。三是数据治理平台为企业级的数据开发和管理建立了可重复的数据收集、数据修改和数据维护流程,并在此之上提供了数据转化的性能监控点,使得全量数据的实时分析可以在业务管理的多场景中同时运行,满足了监管要求、提升了运营效率,还能发掘潜在的盈利增长点。四是数据治理通过实践层面让更多部门更直观地认知数据的价值。认知深度既决定了数据治理的可能空间,也推动了应用的创新。数据治理平台在发挥示范引领作用的同时,依赖海量数据和数据挖掘能力,保证了数据的可信性,树立了数据的竞争优势。

(文章来源:金融电子化杂志)

扫码即可手机
阅读转发此文

本文评论

相关文章