进出口银行数据整合平台的应用实践

为实现可持续发展和全面向国际合作银行转型，中国进出口银行自2006年开始进行新一代业务系统建设，总体目标是全面满足当前业务及管理需要，并支持未来可预见若干年内的发展要求。经过几年的大规模集中建设，目前已初步形成以核心业务、信贷管理等业务系统为中心，管理分析系统为辅助的基本架构。由于存在诸多如企业征信报送、反洗钱等监管报送系统和经营管理分析、资产负债管理等管理分析系统，为了以统一的方式向其提供高质量数据，我行开发了数据整合平台。该平台实现了全行数据的集中采集、集中分析、集中存储、统一共享、统一发布，为监管报送系统和管理分析系统提供基础数据，实现数据共享。

        核心业务系统、信贷管理系统、国际结算系统等系统是数据整合平台的主要数据源；监管报送型和管理分析型系统从数据整合平台获取数据。

        数据整合平台的两台ETL(数据提取、转换和加载)服务器采用负载网络均衡的方式连接，部署具有自动监控功能的总控程序和DataStage ETL软件，执行流程调度、数据加载、ETL作业等关键程序。负责扫描各源系统上传的接口文件，进行数据加载、数据清洗和转换，并最终形成监管分析型应用所需的数据，以标准格式化形式存储在数据库中。两台数据库服务器采用双机热备方式，负责存储业务数据以及ETL作业的配置信息、流程调度的控制信息等元数据。磁盘阵列用于存储各源业务系统上传的接口文件以及数据库数据文件等。

        数据整合平台的完整数据处理过程分为以下几个步骤。

        数据传送：核心业务、信贷管理等源业务系统在每日批处理过程中以约定的格式生成接口数据文件，通过FTP方式上传到数据整合平台ETL服务器的指定目录。该目录挂接在磁盘阵列下，并且以网络文件系统NFS的方式在两个ETL服务器之间共享。为了支持各源业务系统不同类型的数据库，接口文件采用文本文件格式。在这种松耦合的连接方式下，数据整合平台不直接访问各源业务系统数据库，不会对各源业务系统的正常运行造成影响。

        数据加载：两台ETL服务器上均运行具有自动监控功能的总控程序，该程序每隔5秒钟扫描指定的上传目录。首先发现接口文件的总控程序将该接口文件转移，从而保证每个接口文件只被加载一次，接着使用Oraele数据库的sqlld工具将接口文件数据加载到数据库中。这种处理方式解决了源业务系统上传接口文件时间不确定的问题，避免了集中处理带来的性能瓶颈。两台ETL服务器采用集群的处理方式，增加了处理能力。

        数据处理：各源业务系统上传的接口文件数据基本都是尚未经过加工处理的。数据整合平台在加载数据后，总控程序调度ETL作业对数据进行清理和转换，保证数据的正确性、完整性和一致性。目前进出口银行的数据整合平台存在408个ETL作业。ETL作业不必按照固定的顺序执行，但某些作业的执行有一定先决条件，在满足条件的情况下可由总控程序自动调度执行。这种分散处理方式同样增加了灵活性，非顺序的执行方式使得某个作业的异常不至于影响其他作业的执行。

        数据提供：数据整合平台在完成全部数据处理后会在数据库中记录数据日期，监控分析型系统根据日期判断数据整合平台是否完成当日数据处理，进而进行数据抽取等工作。为了保证数据整合平台数据的安全性，数据整合平台向各监控分析型系统开放的数据库用户通常只具有查询权限。监管分析型系统通过建立数据库链接等方式可以很方便地从数据整合平台读取数据。

        数据整合平台目前每天加载727个接口文件，执行408个ETL作业，通常在2小时内完成全部数据处理。此外，接口文件、ETL作业的配置信息和总控程序的控制信息等元数据都存在于配置文件或数据库中，可以很方便地增加新的接口文件和ETL作业。数据整合平台是新一代业务系统的重要组成部分，它解决了数据源多、系统间交互复杂的问题，实现了数据的集中采集和统一提供，为监管报送和管理分析型系统提供了高质量数据，满足多方需求。

（文章来源：金融电子化）
 

扫码即可手机
阅读转发此文