利用开源集群技术提高数据存储安全

随着人民银行信息化建设不断深入，省级数据中心应用系统规模不断扩大，运维保障的复杂度和风险也不断增加。数据作为核心资源，其安全可靠性不仅关系到应用系统的稳定运行，同时也直接影响信息化建设的可持续发展。因此，迫切需要采用安全可靠的存储备份方式保障数据安全。数据存储备份作为IT基础架构的重要组成，一直都是信息化建设的重点。近年来，开源软件技术快速发展，并逐步开始在数据中心存储备份方案中应用，为构建安全可靠和低成本的数据存储系统提供了有效途径。

一、采用技术

　　1． DRBD。DRBD(Distributed Replicated Block Device)是一个用软件实现的服务器之间硬盘相互复制的解决方案，主要被用于Linux平台下的高可用方案之中。DRBD是介于文件系统和磁盘硬件之间的中间件，DRBD接收要写入的数据，在写数据到本地硬盘后，通过网络发送给另一台主机；另一台主机在DRBD程序控制下将接收到的数据写入自己的硬盘中后，向数据发送方反馈写入成功。因此，当本地节点的数据出现问题造成访问中断时，远程节点的主机上还会保留有一份完全相同的数据，继续提供使用，以达到高可用的目的。DRBD实现了基于网络的分布式数据存储，可以看作是网络版的RAID 1。其系统结构如图1所示。

图1 DRBD系统结构图

　　2． Pacemaker。Pacemaker是Li nux下开源的高可用(HA)集群管理软件，与商业化的集群软件相比，它成本费用低且不与特定的硬件设备绑定，并具备管理配置简单、集群规模灵活、支持资源丰富、精细资源控制、不依赖特定存储设备等优势。

　　Pacemaker将所有被管理对象定义为资源，并针对不同资源配置监控、恢复策略，以保证所提供服务的最大可用性。其可管理的资源有：LSB(Linux Standard Base)，这是由操作系统提供的所有放在/etc/init.d下面的各种services，services(或Script)只要符合LSB规范就能被Pacemaker兼容；OCF(Open Cluster FrameWork)，它是LSB的规范扩展，放在/usr/Iib/ocf/resource.d/目录下，常用的OCF资源有：Filesystem，IPaddr，LVM，dhcp等。

二、系统的设计与实现

　　中国人民银行兰州中心支行以Linux下开源集群技术为基础构建具有高可用性的数据存储和备份系统，向虚拟化平台等关键应用系统提供安全可靠的数据存储，同时实现数据中心和同城转接中心之间通过业务网进行数据的远程同步复制，有效提高了省级数据中心数据的安全性和基础平台的可靠性，有力保障了信息系统的容灾能力和业务连续性。

　　如图2所示，系统采用Pacemaker+DRBD的技术架构。物理层由3台服务器组成，nfS1和nfs2部署在本地数据中心，nfS3部署在同城转接中心；消息通讯层使用Corosync做心跳监测；资源层由DRBD、stonith、文件系统、NFS—server、Floatinq IP组成；资源管理层由Pacemaker负责对资源层各类资源进行管理，监控并控制资源切换。

图2 数据存储和备份系统技术架构图

　　1．以DRBD实现数据实时远程复制。本地数据中心两台服务器nfs1、nfs2配置为DRBD镜像磁盘，并被设定为“主(Primary)”状态或“次(Secondary)”状态，镜像磁盘仅被处于“主”状态的服务器读写，当数据被写入状态为“主”的服务器时，也会发送并写入状态为“次”的服务器中。同城转接中心第三台服务器与本地数据中心处于“主”状态服务器再次建立“主次”关系，实现“堆叠”架构，即nfs3被配置为“次”状态，永远接受本地服务器写入的数据。由此，数据除了在本地两台服务器之间实时同步外，会利用网络传输到同城转接中心第三台服务器上，实现业务数据的实时远程同步复制。

　　2．以Pacemaker建立高可用集群。集群资源包括：资源组(group)——NFS服务IP、nfsserver；主从资源(Master/Slave)——ms_left、ms一right；普通资源(Primitive)——Filesystem、stonith 1、stonith2。

　　集群首先启动主从资源，然后启动其他资源(普通资源、资源组)，其他资源被限定在主从资源中角色为Master的服务器上运行。本系统配置两个主从资源：ms_left、msright，资源类型都为DRBD。Ms_left由DRBD—Primary和DRBD—Secondary组成，实现数据在本地服务器nfs1和nfs2中磁盘数据相互复制；ms一right由ms_left中的角色为Master的服务器和DRBD—Third组成，远程nfs3服务器中DRBD—Third被配置为从状态，只接受同步数据，不接管上层其他资源。集群全部资源启动后，对外提供高可用的NFS服务，当服务器出现故障时，所有资源会在Pacemaker的控制下，根据网络状态、资源权限、服务器优先级等进行切换，保障对外服务器正常可用。

三、成效

　　1．建立了硬件冗余的分布式数据存储系统。通过DRBD分布式数据复制技术，实现了生产数据在本地两台服务器上的实时复制，同时，数据能通过网络远程传输到同城转接中心第三台服务器上。这种分布式数据存储系统，解决了集中存储共享磁盘阵列的单点故障威胁，仅在业务网络和心跳线同时失效的情况下才会发生服务中断，其他故障发生时能在极短时间内(小于30秒)恢复服务，且发生中断后也能在保证数据一致的前提下手动恢复服务器的运行。目前，我行虚拟化平台已使用该存储系统近两年，没有遇到因存储设备故障造成应用系统不可用的情况。

　　2．实现了低成本高可靠的数据存储方式。通过3台PC服务器实现本地数据双镜像加远程数据同步复制，经济成本比主流的SAN存储架构低50％～70％，并且能有效避免存储设备主要故障(硬盘损坏)带来的数据安全风险。目前，主流SAN存储架构的主要设备(如磁盘阵列、光纤交换机、SAS磁盘等)价格高昂，构建同等功能的SAN存储系统一般在40～140万左右(20T可用存储容量)。而采用DRBD+Pacemaker技术，仅通过3台PC服务器就能实现相同功能，费用约为20万。

　　另外，在DAS、SAN架构的数据存储中，通常采用RAID和Hot Spare技术，但可容许发生故障的硬盘数量有限，容灾能力不强。而采用DRBD技术后，数据同时写入两台服务器硬盘，并远程复制到第三台服务器中，即便本地服务器硬盘全部发生故障，数据仍能保证完整可用，安全可靠性大幅提升。

　　3．建立了应用和数据级别的高可用。在Pacemaker集群配置中，将上层应用资源(如HTTP、N FS、DB2)和底层数据存储资源(DRBD镜像磁盘)都作为资源管理，并且控制应用资源随着数据存储资源的迁移而迁移，因此可同时实现应用和数据层面的高可用性。在数据层，Pacemaker两层主从资源(Master/slave)配置，使业务系统数据写入数据中心两台服务器的同时，被复制传送到同城转接中心，由于生产数据进行了远程复制，灾难发生时可将远程数据取回本地为应用层提供服务。在应用层，可将应用层服务通过Pacemaker进行集群管理，当应用服务出现故障时，另外一台服务器可自动接管并继续提供服务。因此，在发生突发事件后，DRBD和Pacemaker技术能保障应用系统应急恢复RTO和RPO要求。

四、未来工作展望

　　未来，我行将继续做以下研究测试：一是可被Pacemaker管理的资源管理非常丰富，包括Linux操作系统下的各种服务和符合OCF规范的各种应用，如Http、DB2、MQ、Tonglink、自定义脚本等，因此，可将Linux环境下重要业务系统通过Pacemaker建立HA集群，满足系统业务不间断对外服务需求。二是Pacemaker支持多节点模式，并根据服务器CPU、内存负载动态迁移资源，实现负载均衡和资源的高效利用，可在省级数据中心访问量较大的web应用中进行尝试。三是云计算开源技术快速发展，为数据中心向云计算中心趋势发展提供了有效途径，计划今后将Pacemaker和Openstack结合，建立高可用的私有云环境。

（文章来源：《金融电子化》杂志）

扫码即可手机
阅读转发此文