广发银行数据管控体系经验谈

当今，竞争和监管成为中国银行业的两大主题，而数据则是两者的共性。一方面，数据洞察力将成为未来银行的核心竞争力已经成为业内共识；另一方面，经济和社会健康发展需要政府加强对金融行业的监管，这也要求银行具备有效、有力的数据以及对信息数据管理的能力。应对这样的经营管理和监管合规挑战，一个技术先进、覆盖全部经营机构和职能，能够存储、处理和查询结构化数据和非结构化的内外部数据的数据仓库系统以及基于数仓的各种分析应用是最好的解决方案。数据仓库是形成数据洞察力的重要技术组件，是企业信息框架中的关键一环。但企业可持续的数据能力与良好的数据标准和数据质量密不可分，数据管控是和数据整合、数据应用并行的重要工作。以发展的眼光来看，尽管数据仓库和数据应用在现实中往往成为企业整体数据能力建设的先发环节，但以数据管控为先导或主线的数据仓库更具前瞻性和生命力，广发银行的数据管控和数据平台建设即是后者一个优秀案例。

项目总体情况

        在建设数据管理能力的初始，广发银行就把数据管控体系作为先行启动的项目并贯穿其数据仓库和各种数据应用建设的全过程。从2010年开始启动的广发银行数据管控体系项目(以下简称“数据管控项目”)以建立健全组织架构和制度体系、落地数据标准、强化元数据管理、提升数据质量、完善数据架构及数据安全管理为数据管控目标，建立了数据管控组织架构和制度体系，制订了数据标准，设计了全行级别的企业级数据架构，建设了以数据管控平台及数据仓库为主体，大数据、实时事件处理及历史数据为补充的一体化数据服务平台。经过多期持续的建设，结合管控制度和流程，广发银行完成了元数据、数据标准及数据质量管理平台建设，有效推动了全行数据的综合治理效率、提升了数据质量和潜在的数据挖掘价值；并通过搭建数据仓库平台实现了业务数据的集中处理，全面提升了业务的数据响应能力和应用能力。从业务应用视角来看，这一数据管控体系的建设从管理到落地技术，端到端地为新产品研发、营销、风险和运营管理等多方面决策提供了更具洞察的数据服务支持。

技术架构

         数据管控项目在全盘考虑业务特点和管理成熟度的基础上进行了技术架构的设计、开发模式的选择和分阶段实施的安排。基于管理和技术的平衡、先进性和经济性的平衡、可用性和可扩展性的平衡，这一项目与业内同类型项目相比较，在多项功能的技术实现上具有鲜明的实用性、灵活性、可扩展性和可控性。

         1．整体逻辑架构。广发银行数据管控和数据仓库体系同步建设，即在落实合理的组织架构、先进高效的流程和制度的基础上，同步跟随建设系统平台。经过几年的持续投入，已经完成了“四统一”，即统一的数据管控平台、统一的数据存储平台、统一的数据交换平台、统一的B I应用平台等内容，是兼顾技术扩展性和管控合理性的先进架构模式(见图1)。

图1 数据管控项目整体架构

        2．数据管控平台技术架构。如图2所示，依据国内外先进管控经验，广发银行设计了适合自身的组织架构和流程制度，辅以自身定制化开发的管控工具，确保了管控内容的可落地和高效推进。

图2 数据管控平台技术架构

         3．技术亮点。数据管控项目在数据架构、数据标准和数据质量等领域进行了多项技术攻关和创新，如采用元数据模型及数据全流程管理、数据标准落地系统和数据质量平衡计分卡等手段，有效支撑了数据管控落地；采用自主开发的脚本解析文本规则，建立了各层数据间的血缘关系，提高了数据分析效率；自主研发ADMS开发工具，通过配置实现了代码及测试案例自动化生成等。

        首先，由于元数据是数据管控的核心之一，数据管控项目的技术亮点有多项集中在元数据方面。

        多态可扩展元数据采集器：系统设计支持不同格式、技术形态和厂商工具的数据采集方式，例如Excel模板采集器和数据库采集器，数据库采集器具备AS400 DB2、DB2、Oracle、Microsoft SQLserver等接口；每种采集器支持插拔式，互不影响；易于接入新的采集器，以实现新的元数据采集，适应新业务的发展，扩展性很强。

        配置级在线元数据模型设计及采集模板定义：支持在线设计元数据模型工具。用户可根据业务需要，快速自定制和管理元数据模型及采集模板，且无需任何编码开发工作，降低了开发复杂度和技术门槛、缩短了学习周期，节省了多个环节的成本。

        动态元数据差异识别：通过使用系统缓存技术，在元数据采集过程中进行新采集元数据与旧版本元数据的差异比较，大大提高了元数据对比检查效率。

        元数据映射关系自动化解析：通过自主开发的Perl脚本解析程序，梳理系统内部各数据层之间的血缘关系，提高了元数据变更关联影响分析的效率。

        其次，数据管控项目通过数据管控体系的先进数据架构设计，以高性价比实现了海量数据下的高响应服务标准。

        T+1数据服务：这一能力是以先进的数据架构设计辅以硬件(Exadata一体机)的海量数据并发处理能力实现的。这一架构下的数据处理能够24小时支持广发银行的业务分析与决策，实现了80％的数据在上午8时完成供数，满足了相关行内下游系统对数据时间窗口的要求。

        快速即席查询应用：支持各种不同复杂度的即席查询，支持业务的分析与决策。即席查询前端响应时间完全满足设计要求，80％的操作响应时间控制在60秒内。

        强大的数据服务能力：结合行业实施经验，采用海内外优秀厂家的先进技术，提供强大的数据服务能力，实现了企业级数据信息的整合，形成全行客户、产品、机构、渠道统一视图，有效解决数据共享、数据准确性、数据质量和系统集成等问题，提升了银行数据分析和数据运用水平。

        数据管控项目不但在各级系统模块的建设中实现了高度的自主可控，并且在数据仓库整个项目实施周期中，研发了ADMS工具，实现了开发、测试自动化。借助这一工具，项目开发可实现从字段级分析到回归验证的全闭环的实施方法和流程，提高开发效率达40％以上，同时保证了文档和脚本的一致性，提高了文档准确性和数据服务质量。

业务应用

        1．在元数据管理、数据标准管理及数据质量管理方面发挥了很大的作用。有效提升了全行数据字典管理能力、数据标准化程度以及数据质量问题的推进效率。

        通过统一元数据管理，提升了研发效率：对广发银行信息系统的元数据及系统间的数据流进行有效管理，实现知识共享的目标，同时结合广发银行元数据管理相关制度及工作流程，可以快速进行影响分析和血缘分析，极大地提高了研发效率和质量。

        促进了标准化建设及落地，为新核心的顺利上线保驾护航：随着广发银行对客户、产品等主题信息标准化的制定，数据管控平台提供了对数据标准的申请、审核、修订及发布等管理功能，保证了数据标准自身的持续优化，同时结合广发银行数据标准管理相关制度及数据标准执行工作流程，有力地促进了数据标准在各信息系统建设中贯彻执行。2014年，广发银行进行新核心的全面改造，数据标准为新核心提供了重要的数据参考依据，并且进行了有效落地，为全行数据标准化打下了良好基础。

         提升了数据质量水平：通过系统支持，实现了对数据质量进行检核、跟踪、处理这一闭环流程的管理，有力支撑了数据质量治理工作，提升了数据质量水平。

        广发银行依托于数据管控体系，成立专项数据治理小组，已经推动解决了178项严重影响业务分析的数据质量问题，为业务部门的准确决策提供了强有力的依据，也极大提高了监管报送的效率和准确性。

        2．为广发银行数据架构服务带来了新的发展。主要体现在以下几个方面。

        数据集中管理服务，提升效率：整合及标准化了73个业务源系统数据，为下游33个应用集市提供高质量的数据服务，提升数据服务效率。

        海量数据提升数据挖掘价值：可以根据以往产品销售状况和客户行为偏好的分析设计新产品，并对新产品进行目标客户群的分析，估算目标客户数量和活动成本、营销渠道容量，设计市场营销活动；可以对异常的管理指标进行深入分析，挖掘问题所在，提出解决方法，并为管理层决策提供数据基础。

         灵活的查询分析支撑业务应用：系统完成了基于个人客户、对公客户、同业客户等角度出发的数据汇总基础加工，并且完成了从绩效考核、指标集市等高粒度数据汇总，为个人银行部、零售风险部、公司银行部、信用卡中心、金融市场部等4 1个业务部门和分行提供自定义灵活查询分析的功能。业务部门可以自行、自由地使用数据，有力地支撑了业务部门与分行的数据分析需求，突破了业务无法直接自行使用数据的瓶颈。

结语

        数据管控项目虽然是以数据管控为核心，但实际其项目的设计、执行和持续改进是与数据仓库平台和各级各项数据应用紧密结合和互动的。数据管控项目不但是建设了一个具有先进数据架构、完善数据标准、良好数据质量基础的数据管控项目体系，而且培育了一种贯穿全行的数据文化和数据管理文化。广发银行的数据仓库项目和各个数据应用都将受益于这样一种务实的、科学的、以先进技术为保障的文化。

（文章来源：《金融电子化》杂志）

扫码即可手机
阅读转发此文