云南农信:内外兼修构建多维大数据分析平台

自2009年起，云南省农村信用社整合了行内包括核心业务、信贷管理、财务管理、网上银行、贷记卡等20多个交易系统数据，开始构建自己的数据分析平台——操作型数据存储（ODS）。作为企业级的基础数据平台，ODS承担着全行数据整合、数据治理、数据分析、数据交换及数据服务等重要职能，包括经营决策支持、1104数据报送、金融标准化数据报送、个人结算账户报送等10多个数据应用系统，并为操作风险实时预警系统、VIP卡系统等提供数据支持服务。

        数据分析平台的建设对客户分析、各类监管报送系统的建设起到了基础性作用。但ODS数据分析平台仅仅整合了行内的数据，并且由于各交易系统建设较早，建设过程并没有考虑数据后期的应用问题，导致在做客户分析、渠道分析、风险分析等方面数据支持不足。而随着支付结算手段的不断丰富，网上银行、微信银行、互联网金融（如余额宝等）都为客户提供了多样化的金融服务选择，如何多渠道收集整合客户的消费行为信息、偏好等信息，整合行内数据与外部数据，构建大数据分析平台，实现数据分析的多维化，为农村信用社在利率市场化背景下进行利率定价、客户分析、风险分析、产品分析、营销支持等方面提供强有力的数据支持，是目前激烈竞争的金融市场环境下需要思考的问题。

一、数据应用架构规划

        目前，云南省农村信用社的ODS基础数据平台已运行5年，积累了大量的业务数据，需要重新规划数据架构，采用ODS+DW的模式。ODS仅存放最近6个月的交易数据，将长期的交易数据从ODS剥离，放入数据仓库中进行历史数据归档，同时构建了历史信息查询、司法查询及风险数据建模等应用模块，并着眼于未来发展，将银行外部数据及非结构化数据采集、存储与应用也进行统一的规划。数据应用架构初步设想如图1所示。

        （1）数据缓冲区（STA）：保存由其他系统及外部系统接入需要集成到数据仓库中的各种以文件形式保存的源数据，保存由统一数据采集模块采集自其他系统的数据的同步落地文件，保存为目标系统提供的数据的落地文件。分为源数据区（STA—S）、目标数据区（STA—T）两个子区域。文件系统按照子区+系统+数据日期批次的目录方式进行组织。

        （2）标准源数据区（SDM）：按照源系统组织贴源的、经过标准化处理后的标准源数据。SDM中将包含以下子数据区域：准实时数据区，保存从源系统实时／准实时采集增量的数据，数据结构贴源，为实时数据仓库和批量装载提供数据准备；快照数据区，保存状态和参数类源数据的最新全量数据和数个时点数据快照（按需），保存短期内的交易明细数据和渠道流水数据，数据结构贴源，经过清洗检核和标准化加工。

        （3）实时数据仓库区（RTDW）：保存应用所需的快照数据（账户、客户等）、明细数据和数据仓库或各类应用产生的汇总数据等，提供基于索引的联机查询访问，支撑操作型应用的数据访问需要。

        （4）分析型数据仓库区（ADW）：为满足管理分析应用需求，保存对原始数据进行跨系统集成，形成按照主题组织的细节数据和共性的汇总数据。分析型数据仓库由细节数据区、轻度汇总数据区和公共指标数据区三部分组成：细节数据区（FDM），保存按照主题进行组织、进行跨系统集成后形成的统一数据视图的细节数据；轻度汇总数据区（ADM—A1），保存各最小汇总维度（如账户、渠道终端等）的汇总数据；公共指标数据区（ADM—A2）：保存各种公共维度（客户、机构、渠道等）上的、多种应用有共性需求和统计口径的汇总数据。

        （5）非结构化数据区（USD）：保存全行非结构化数据的索引、摘要信息和具体数据细节信息。非结构化数据的索引和摘要信息采用数据库保存，数据的具体细节信息采用文件系统保存，主要应用是保存电子凭证、扫描文件等。

        （6）多维数据区（MDA）：按照业务主题（如风险管理、客户管理、产品管理等）组织数据，形成面向业务的多维数据。

        （7）实验数据区（LDA）：保存模型验证、数据压力测试等所需的各类数据，实验数据可来自于其他任何一个分区，用户也可以自行定制所需的数据模型。

        （8）归档数据区（HDAS）：支持历史数据存储和访问，由原始数据访问区和归档数据区两部分组成：归档数据区，根据数据生命周期策略，对来自数据源和各数据功能组件的数据进行归档；原始数据访问区，保存数据源一段时期内（例如1～2年）的原始数据，包括特定时点（月末、年末）的业务截面数据以及业务过程明细数据，以支持内部审计、司法查询、客户明细查询、下级联社数据查询等应用需求。

 1 2 下一页 尾页

扫码即可手机
阅读转发此文