• 快捷搜索
  • 全站搜索

打造支撑大数据应用的架构

2015-07-14 11:37:01作者:华夏银行科技开发中心 董超,黄颖辉编辑:金融咨询网 赵洋
在大数据时代对数据的驾驭能力是每个银行必备的核心能力,也将是未来银行的核心竞争力之一。华夏银行对传统的以结构化数据为核心的架构进行了更新,形成了支撑大数据应用的目标架构。

 不断涌现的互联网金融企业借助平台、数据、客户方面的优势对银行形成了较大的威胁。因此,传统商业银行的数据驾驭能力受到考验,生存发展能力受到挑战。在大数据时代对数据的驾驭能力(这里主要是指银行从技术层面对所需各种数据的采集与交换、存储、处理与整合、分析与展现的能力)是大数据时代每个银行必备的核心能力,也将是未来银行的核心竞争力之一。

一、大数据在银行业的应用场景

        根据对目前国内外银行大数据应用实践与趋势的研究与分析,我们把目前了解到的银行大数据应用场景主要归纳为三类:客户与市场分析、风险与欺诈监测、运营分析与优化。

        在客户分析方面,银行可以通过对客户相关的多源、多类型海量数据进行捕捉及整合分析,形成客户的360度全景视图,对客户进行细化分类和标签化。同时可利用各种服务交付渠道的海量客户数据,开发预测分析模型,实现对客户消费行为模式的分析与客户流失预警,增强客户保留。在市场分析方面,大数据可以帮助银行分析客户的多样化、个性化需求,依据历史与实时的交易信息,自动产生客户推荐,寻找其中的金融创新机会,提供实时的营销和精准的营销(详见表1所示)。

打造支撑大数据应用的架构-表一doc.png

        在风险与欺诈监测方面,大数据可协助银行提高风险透明度,加强风险管理和合规,实现数据驱动的反欺诈、反洗钱分析等(详见表2所示)。

打造支撑大数据应用的架构-表二doc.jpg

        在运营分析方面,大数据可以协助银行进行历史数据的归档与管理、对系统日志进行维护与分析、对系统故障进行分析(详见表3所示)。

打造支撑大数据应用的架构-表三doc.jpg

二、大数据对科技带来的挑战

        银行业当前的架构是以结构化数据处理与分析为核心的架构,培养的是结构化数据处理能力,这种数据能力与实现大数据相关应用场景所需的数据能力有所不同。同时,以结构化数据处理为核心的架构支撑的技术能力,与大数据时代商业银行应该具备的大数据技术能力相比较,还有较大的差距和存在一定的挑战。这些对现有架构的挑战主要有:非结构化数据获取能力不足;非结构化数据的存储、处理、分析与展现能力不足;多源数据整合能力不足;海量结构化数据的分析和展现能力不足;流数据的采集和处理能力不足。

三、华夏银行的实践探索

        华夏银行对传统的以结构化数据为核心的架构进行了更新,形成了支撑大数据应用的目标架构。

        大数据目标架构分为4个层级和1个基础支撑。4个层级是源数据层、数据采集与交换层、数据处理与整合层、数据应用层。1个基础支撑是数据治理基础支撑。

        1.源数据层

         源数据层从行内与行外,结构化与非结构化两个分类维度把数据源分为行内结构化数据、行内非结构化数据、行外互联网数据及其他等三大类数据。行内结构化数据包括了行内各生产系统产生的结构化数据。行内非结构化数据主要指行内系统产生的或存储的各种非结构化数据。行外互联网数据及其他是大数据时代的新增数据源,这些数据是以非结构化、半结构化的行外交互数据为主,它与行内交易数据互补,形成交互数据与交易数据的融合。

        2.数据采集与交换层

        针对不同的数据源,数据采集与交换层规划了3类应用:结构化数据采集与交换、网络数据采集与交换、流数据采集与交换。数据交换层的应用需要支持3类场景:数据在目标架构中的跨层流转;在数据整合层内实现大数据平台、流数据处理平台、数据仓库与ODS不同数据平台之间的数据流转;实现跨业务系统和跨机构(如总分行)的数据交换、流转和分发。

        3.数据处理与整合层

        在数据处理与整合层,针对3种不同形态的数据,规划了3类应用。第一类是针对结构化数据的存储、整合与分析的数据仓库、ODS与数据集市,这些应用是传统数据仓库架构的核心。在大数据环境下与传统数据仓库架构不同的内容是,数据仓库与ODS的数据来源不仅是来自行内的结构化数据,还有来自通过大数据平台处理提炼后得出的结构化数据、来自流数据应用处理后需要落地进行存储分析的结构化数据,3类结构化数据统一纳入数据仓库进行整合与分析,实现结构化数据与非结构化数据融合、行内与行外数据的融合。

        大数据存储、处理与分析是在大数据环境下新增的应用,针对的数据类别主要是非结构化数据,其定位主要是数据的落地、分析与归档区。该应用根据业务场景可以实现如下功能:非结构化数据的存储与预处理、历史数据归档与查询、基于内容的分析、跨数据源的数据分析与挖掘等。

        流数据处理是新增的应用,处理的数据对象是高速、动态的流数据,流数据可以同时来自多个来源,可以是不同数据形态。

        数据沙盘是新增的应用,其定位是为了在大数据环境下实现对不同来源(行内与行外)、不同格式(结构和非结构化)的数据快速组织与整合,用于查询,探索和分析,实现信息发现,支撑业务的创新。它支持业务人员进行自助式的探索与分析,直接处理原始数据、无需培训即可实现企业级数据搜索和分析各种不同数据,并提供一定的可视化分析工具。这个应用能够帮助银行在大数据环境下进行快速创新,尝试从海量数据中发觉新的业务机会和价值。

        4.数据应用层

        数据应用层的分析应用、工具与技术可以分为两大类:一类是基于传统数据仓库与OLAP(联机分析处理)的分析应用与技术,另外一类是对非结构化数据的分析技术。

        5.数据治理基础支撑

        数据治理基础支撑从数据质量、元数据、数据标准与数据生命周期管理四个方面,对全行的数据提供基础支撑与服务。 

(文章来源:《金融电子化》杂志)

扫码即可手机
阅读转发此文

本文评论

相关文章