• 快捷搜索
  • 全站搜索

大数据让数据仓库更具价值

2014-01-15 12:45:07作者:韩蕊编辑:金融咨询网
Hadoop和MapReduce等这些新兴技术并不能解决数据相关的所有问题,作为一种传统技术,数据仓库在大数据时代依然焕发自己的活力。

如果要总结2013年的IT热词,大数据、云计算、移动互联网肯定会榜上有名。虽然都是上榜热词,但是用户对这三大领域依然具有自己不同的认识,相比云计算和移动互联网,用户对大数据的接受程度依然不够成熟。而且,纵览IT业界,不管是新兴行业,还是传统行业都在考虑大数据对于自己所在行业到底意味着什么。其实,大数据对于各个行业都有不同的意义,而且它完全超越了数据本身的含义。

  谈到大数据,首先想到的是数据管理,在数据管理方面,人们想到的是Hadoop和MapReduce等新兴技术,但是这些新兴技术并不能解决所有的数据管理问题。数据仓库作为一种传统的数据技术在大数据时代依然焕发着自己的活力。

  数据仓库:从技术角度看问题说到数据仓库,就要从数据仓库的概念提出说起。数据仓库概念最早诞生于1983年,然后就出现了商务智能,直到20世纪90年代开始成熟,并出现了提取、转换和加载(ETL),ETL的出现大大促进了商务智能(BI)的发展。以后,数据仓库出现了各种扩展,出现了多维的联机分析处理(OLAP)、数据集市、探查型数据仓库和ODS.

  有了ODS即便更新和业务处理遇到集成数据问题,系统还是能够进行处理。其后,星型模型和事实表等都有了容身之地。有了探索型数据仓库,统计学家有了一个数据基础,可以支撑从数据管理员到统计分析员等不同角色的数据挖掘分析需求。一直到后来,数据仓库变成了企业的信息工厂,进而数据仓库也被称为企业数据仓库(EDW)。

  随着EDW环境复杂性的增加,企业越来越认为需要一种监控机制来管理数据仓库,而这种监控机制与事务处理的监控机制本质上存在着各种差异。与此同时,商务智能的发展也随着数据仓库技术的发展而不断演进,商务智能的发展要求其不仅仅为决策层提供支持,同时,也要给普通的业务人员提供支持。不仅要能从整个战略层面进行综合分析,还能够在具体的战术层面进行详细指导,这些是商务智能未来的发展趋势。随着信息量的快速增长,产生了如网页文本等信息数据分析的需求。进而衍生了对大数据的分析技术。

  事实上,大数据和数据仓库是同一个问题的两个方面,大数据是业务视角,需要汇聚各类数据,建立客户全景视图,实现客户深度洞察,而数据仓库是技术视角,需要汇聚各类数据,全景实现数据全生命周期管理、元数据管理和数据监视管理。

  数据仓库和大数据的结合就是通过技术手段来解决业务问题。随着大数据时代的发展,数据仓库对于企业决策的支持作用将会越来越大。由此,数据仓库也成为了各大数据解决方案厂商着力开展的业务领域。IBM、甲骨文,惠普、Teradata等厂商纷纷部署了自己的数据仓库技术和产品。绝大多数的数据仓库厂商能够利用网格或者云架构将他们的产品扩展到PB级别,而且他们能够完成数据库内分析,即在大规模并行数据仓库网格或者云环境中实现。他们还可以在企业数据仓库之内来支持数据转化和数据清洗功能。

  数据仓库发展迎挑战目前,大量的数据运行的企业中,新兴的数据类型层出不穷,数据量增加的速度越来越快,越来越多的业务提出实时的需求,所有这些都让数据仓库在企业运营和领导决策支持中显现出“疲态”。

  数据仓库遇到的第一个挑战是对大量数据的存储和管理。现在的数据量已经大大超越了传统事物处理的数据量,而且随着时间的推移,数据量还将不断增加,数据类型还将更加多元化。

  第二是数据仓库要解决并行处理的问题。在传统联机事务处理应用中,用户访问系统的特点是短小而密集。对于一个多处理机系统来说,能够将用户的请求进行均衡分担进行并行操作是非常关键的。在数据仓库系统中,用户访问的特点是庞大而稀疏,每一个查询和统计都很复杂,但是访问频率很低。

  最后,对于企业级数据仓库而言,数据源的 ETL操作是另一个挑战,特别是实时的ETL操作。传统的数据工具不能解决高容量和低延迟的需求,而能够满足这些需求的技术正是企业需要的。要解决这项需求所面临的主要挑战是,是否可以在给定的时间内移动必要的数据量。传统的批量处理过程需要几个小时甚至几天的时间才能够完成这样的操作,这就不能满足业务实时决策的要求。其他相关的挑战在加载到数据仓库时要减少操作系统上的影响,因为在数据仓库中运行大的查询会降低操作系统对使用者和客户的服务。

  另外,从各种各样用户设备上访问数据仓库中的业务信息,也影响到了数据仓库的工作量以及它所支持的信息。从工作量的角度来看,用户设备需要大量的小查询,就需要在很低的延迟下跨越地域进行回答。从信息的角度来看,用户使用移动设备希望实现随时随地的即时访问,用户需要的是最新的信息。而且需要很快地加载信息,以便用户可以和历史内容一起访问数据。

  三把利剑破解数据难题Forrester高级数据管理分析师James Kobielus曾表示,数据仓库可以通过三种方式帮助企业处理好数据问题:第一,在企业数据仓库中,给不同的数据一个比较稳定的主题划分,按照主题来组织企业数据,比如,数据仓库架构中的OLAP cube,客户数据是一个分区,财务数据是一个分区,人力资源数据是一个分区。不管是物理上的实现还是逻辑上划分,这些数据主题都会比较稳定。这样有利于根据数据的关联性来匹配下游的应用和用户。这是数据仓库管理的核心所在,也是通过数据仓库处理大数据的重要方式。

  第二种方式是通过数据库内分析,也就是在数据仓库内部执行数据挖掘。利用数据仓库执行数据清洗、数据挖掘和回归分析。因为使用数据挖掘或者回归分析可以从根本上了解了数据集模式,所以这种方式可以很好地处理数据。然后使用数据库内挖掘来填充下游的分析数据集市,数据挖掘和统计模型专业人士可以利用它将复杂的模式实现可视化。

  第三种方式就是将数据仓库作为数据治理的核心,可以合理地在数据仓库中维护主数据。当数据仓库作为数据治理与数据清洗的核心时,它将有助于搞清楚所有的信息。在整个企业架构中,数据就像是洪水一般涌入数据仓库,数据仓库作为数据的枢纽,可以确保大数据在下游的应用。

  有了这三种方式,然后结合Hadoop、MapReduce等大数据新兴技术,企业就可以处理好大数据难题。

  总之,数据仓库是一项基于数据管理和利用的综合性技术和解决方案,数据仓库是企业不可或缺的关键性组成部分,它将成为数据库市场的新一轮增长点。作为下一代应用系统的重要组成部分,数据仓库可以把企业方方面面产生的数据汇集起来,然后分门别类,并最终对这些繁复复杂的信息进行分析处理,让其成为了解企业运营、进行企业决策的宝贵资料。

(文章来源:《互联网周刊》)
 

扫码即可手机
阅读转发此文

本文评论

相关文章