• 快捷搜索
  • 全站搜索

金融企业大数据技术选择策略

2012-08-19 22:55:58作者:中国人民大学 王珊 张延松 人大金仓公司 冷建全编辑:
国家级金融数据仓库的技术基础是高可扩展、高安全性、高实时响应性、高可用性的技术支持,当前还没有成熟的技术可以对此提供全面的支撑。

互联网技术、移动计算技术、传感器网络技术将地球变成一个连通的“地球村”;电子商务、电子政务等服务将实体社会的个人行为模式转换为电子化虚拟社会的信息流;经济全球一体化进程的发展推动大型企业、跨国企业进行深刻的信息化改造。随着人类与经济实体越来越多地依赖于信息技术,数据爆炸带来的大数据远远超过过去几十年的总和。

大数据.jpg


        与此相对,信息技术的发展滞后于大数据的发展速度,无论在存储技术、数据管理技术、数据处理技术、数据分析与挖掘技术等方面均难以实现从传统的企业级大数据到互联网时代大数据的技术跨越。虽然以Google为主导提出的云计算MapReduce技术被大型互联网企业所广泛采用,但其以扩展性和容错性为主导的技术路线并不能很好地满足以高性能、高安全性、高效率为主导的金融企业的需求。大数据在不同的应用行业和领域具有不同的特征和需求,云计算MapReduce技术并不是放之四海皆准的唯一技术路线。

一、大数据仓库
        被称成“数据库之父”的一代宗师Bill Inmon在20世纪80年代提出了数据仓库的概念,把数据仓库定义为一个面向主题的、集成的、随时间变化的、非易变的用于支持管理的决策过程的数据集合。

        在大数据时代,数据仓库的内涵并未发生本质的变化,但由于数据量的增长超过了构建数据仓库的传统数据库技术的管理能力,传统数据仓库技术因为难以适应大数据管理能力的需求而转向Hadoop和NoSQL解决方案。但Hadoop和NoSQL技术相对于数据库在安全性、存储效率、处理性能等方面还有较大的差距,因此更适合于互联网上的低安全性级别的大数据处理。对于高安全性级别的金融等国家基础行业的大数据处理来说,其软硬件成本、人力成本、管理成本、安全性成本、效率与性能成本都是不可忽视的重要因素。尤其是金融分析和风险评估中需要高性能的实时分析处理能力,这对Hadoop和NoSQL技术是一个重要的性能瓶颈。

        另一个解决方案是继承数据仓库的特性,将非结构化数据作为其扩展的维度或细粒度数据下层的原始数据层,将数据仓库在功能上进行横向和纵向扩展,在数据管理和分析处理能力上提高其对高可扩展性和高性能的支持,从而使传统的数据仓库成为支持大数据的新的数据仓库(Ware-house)。

        从实现技术的角度看,Big DataWarehouse在细节数据层扩展了对非结构化key-value数据的支持,并且继承结构化数据的抽象表述能力,将结构化数据作为super key与非结构化数据value相结合,实现结构化数据分析与非结构化数据挖掘的融合,扩展数据仓库应用领域。

        同时,通过大规模集群并行计算的存储模型和分析处理模型改造,将中低规模集群和高端硬件的数据仓库分析处理系统改造为适于大规模并行计算的集群系统,并在数据分布模型上增加容错性支持,将传统的数据仓库技术扩展为云计算环境下的大数据仓库系统。

        大数据仓库系统的核心支撑技术是列存储技术、分布式存储模型技术和大规模集群并行处理技术等。

二、金融企业在大数据时代的挑战
        金融业是我国社会的重要基础性行业。亚洲金融危机、美国债务危机、欧债危机等世界范围的金融危机往往表现为金融企业的异动,如:银行倒闭、坏账膨胀、股市下跌、国债骤增、金库亏空等等。通过金融分析与挖掘能够在经济层面上找到其主要原因,比如外债高筑、国际收支不平衡、经济衰退等。因此,在国家宏观经济政策的制定过程中,金融分析和挖掘是重要的决策支持工具,需要在国家级金融数据仓库的大数据基础上进行全面而深入的分析挖掘才能得到最可信的决策依据。而国家级金融数据仓库的技术基础是高可扩展、高安全性、高实时响应性、高可用性的技术支持,当前还没有成熟的技术可以对此提供全面的支撑。

        电子商务的深入推进使电子银行触及社会经济活动的各个领域,智能终端的发展也使电子银行打破时空的概念,金融业务每时每秒发生在每个角落。伴随金融业务的拓展,金融安全和风险防范日益严峻。当前层出不穷的金融欺诈、套现等问题严重损害着金融安全,而金融安全防范重要的技术手段是实时分析和数据挖掘技术,在大数据时代需要具有在大数据集、大规模集群上的实时分析处理能力。

        从我国人口基数和电子银行的发展程度来看,我国金融业仍然处于发展成长期,距离成熟的电子金融产业还有相当大的距离。因此,从金融数据分析的需求来看,中国金融企业的数据规模会继续迅速增长,而我们的金融环境尚不完善,金融安全和金融风险仍然是重要的问题,在金融企业的高速增长期会进一步增加金融安全和金融风险的隐患,因此,对于金融企业来说,增强金融企业的数据分析和挖掘能力尤为重要。

        在金融业未来的发展趋势中,全国性金融数据中心的大数据管理技术、非结构化金融数据分析处理技术、金融数据安全管理技术、高性能实时性分析处理技术等都是未来重要的研究和应用领域,也是金融数据分析处理的关键技术挑战。

 1 2 下一页 尾页

扫码即可手机
阅读转发此文

本文评论

相关文章

科技新兴技术
金融企业大数据技术选择策略

国家级金融数据仓库的技术基础是高可扩展、高安全性、高实时响应性、高可用性的技术支持,当前还没有成熟的技术可以对此提供全面