/ 中存储网

大数据时代高校数字图书馆的云存储建设

2015-03-26 12:09:52 来源:中存储

摘 要:通过对云计算时期虚拟化环境下存储构架的介绍,搭建了云存储建设的构架模型,对统一存储管理系统的建设进行了分析,切合实际地提出云存储建设实例,并深入浅出的介绍了云存储核心功能的实现。对虚拟化环境下高校信息存储系统的数据安全和统一管理提供了建设性意见。

关键词:虚拟化 云存储 存储管理 气象信息系统建设 数据安全

随着高校数据库信息系统的建设发展,在服务空间、时间和功能上不断拓展、延伸和完善,实行实体、短信、网络一体化的服务管理,高校图书信息库能全年365×24小时为用户提供多元化高质量的文献信息服务。

目前,各高校信息系统在网络硬件环境建设方面取得了重大进展。伴随着千兆、万兆网络系统的使用,以及海量馆藏数字资源fc光纤存储和iscsi存储的投入,数字图书馆的统一网络存储管理显得日渐重要。

尤其是在互联网信息服务进入云计算时代,随着虚拟化技术的采用和实施,数字图书馆网络信息服务所依托的数据存储,需要有效地适应云计算和更高级别的数据安全要求。因此,涵盖存储统一管理、高可用、容灾、备份、数据保护和实时迁移的云存储管理,成为保障数字图书馆网络信息服务稳定运行的第一要素。

1.数字图书馆存储构架

目前,数字图书馆常用网络存储有fc san、ip san、nas等种类型,就存储设备本身而言,这三者没什么不同,区别在于不同的存储网络协议和前端接口的物理形式。

1.1fc san应该是最早的网络存储形式,采用光纤存储网络连接服务器和存储器,有专门的光纤存储交换机,采用可靠的光纤存储传输协议。存储器前端接口是光纤接口,这是非常可靠的网络存储形式。

1.2ip san跟fc san一样都是块存储,存储原理相同,不同的是ip san为了延长fc san的传输距离而产生的,利用ip网络传输,前端接口是ip接口。

1.3nas是文件共享存储形式,主机产生的数据以文件形式通过ip网络保存在nas存储设备上。优点是文件共享方便,缺点是效率较低,速度慢,并且由于早期文件系统的限制,存储容量较小,无法横向扩展,多数在16tb或32tb大小。

最新的网络存储技术是统一分层存储,统一是指对于一台存储器来说同时提供支持fc、ip、nas乃至最新的mpfs、fcoe等存储传输协议的前端接口和控制,这样一台存储设备就可以支持不同的主机应用。在同一lun里存在不同类型的磁盘,存储器自动扫描热点数据,把应用的热点数据自动移动到较快的磁盘上,当该热点数据不再被频繁访问的时候,自动将其移到较慢的磁盘上。整体上达到高效、降低成本的效果,也是云计算的基础。

2.云存储系统的结构模型

与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心。通过应用软件来对外提供数据存储和业务访问服务。

云存储系统的结构模型由4层组成。

2.1存储层

存储层是云存储最基础的部分。存储设备可以是fc光纤通道存储设备,可以是nas和iscsi等ip存储设备,也可以是scsl或sas等das存储设备。云存储中的存储设备往往数量庞大且分布多不同地域。彼此之间通过广域同、互联网或者fc光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

2.2基础管理层

基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。

2.3应用接口层

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。

2.4访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。

3.云存储项目建设原则分析

3.1先进性:选用行业内最先进的网络存储技术和存储系统产品,选取一个具有前瞻性的设计。

3.2灵活性:系统架构比较灵活,不仅对现有的各种设备和技术有很好的兼容性,而且充分考虑将来业务的需求和技术的发展,以便节省客户的投资。

3.3安全性:充分考虑集中式存储环境带来的数据安全访问需求。

3.4可扩展性:充分考虑到数据处理平台在业务的发展方向,使整体设计能适用将来一定时期内的业务需求和变化。

3.5可用性:系统多层次、全方位的冗余设计,提供一个高可靠的业务应用系统运行平台;

3.6易管理性:便于处理平台对数据系统进行管理和维护。

4.基于hgc dsp的存储统一管理解决方案

根据对数字图书馆存储结构分析,我们以采用hgc dsp存储虚拟化统一管理的解决方案为例,分析一下云存储建设方案的核心。

4.1主机层:在各个主机服务器中,安装多路径管理软件,保障dsp双机的顺利切换。同时,可在主机中安装disksafe保护代理,将主机中所映射的磁盘阵列的数据,通过镜像+快照的方式,备份到dsp中。disksafe除了可以完成数据盘的保护外,还可以备份系统盘,当系统出现灾难故障时,可恢复至原有状态。这样就可以在做统一管理的同时,也完成数据备份。

4.2网络层:在主机和dsp之间,分别添加一台ip交换机和fc交换机,为链路的冗余提供设备支持。

4.3存储层:存储层或者说整个存储网络系统的核心设备是磁盘阵列,在数据中心存储系统中,本地dsp系统方案能够将新整合的存储进行虚拟化使用,虚拟化后的lun具有镜像、快照、远程复制等功能。后端的2台磁盘阵列,连接至dsp上,通过dsp的设置将磁盘阵列的lun进行统一管理,然后分别映射至所对应的主机。同时,布置2台dsp,搭建成ha架构。这样可以保证在其中一台失效时,不会导致整个后端的存储系统崩溃,无法对主机提供数据。

5.云存储管理核心功能的实现

5.1智能数据保护:基于磁盘的、新一代备份与容灾一体化的解决方案,具备卓越的文件、数据库、操作系统的实时备份与瞬间恢复功能,全面整合本地、异地两大容灾体系。dsp备份、容灾一体化解决方案,真正以快速恢复服务为第一目标,无论用户的应用服务器发生任何意外。

5.2强大的数据迁移和存储容灾:支持存储系统之间的同步镜像(synchronous mirroring),能大幅简化数据迁移的流程。若现有的存储阵列已经由hgc dsp来管理,只要将新的磁盘阵列连上存储区域网络(san),即可在两个磁盘阵列之间执行磁盘镜像,即可完成数据的迁移。迁移数据过程中,应用服务器完全不需要停机,也不会影响数据一致性。

5.3开放的存储虚拟化:以存储虚拟化技术为基础,可直接应用dsp作为虚拟化存储解决方案,进行资源的整合再分配,存储方案的增强扩展,以及对物理存储资源的更高效利用。dsp的后端可搭配任何品牌的磁盘阵列,支持fc、iscsi、infiniband等标准网络存储协议,彻底摆脱单一存储供应商的束缚。

5.4精简存储配置功能:内建thin provisioning(自动精简存储配置)功能,可将较小的实体存储空间对映成预期的较大容量的虚拟磁盘,而初次所分配的物理磁盘存储空间仅需按主机当前实际已有的较小的数据量来进行分配。

5.5远程容灾方案:可通过广域网或互联网构建基于dsp统一平台的远程数据复制,构建更高级别的远程容灾系统。提供周期复制(periodic replication)和连续复制(continuous replication)模式。

6.结语

在互联网技术高速发展的今天,随着虚拟化云计算时代的来临,数字图书馆在信息化建设上必须适应当前用户要求。对于云计算来说,实现虚拟化只是万里长征走完了第一步。用户规划云基础架构的起点是数据的存储管理。数字图书馆的数据存储建设,必须采用统一的管理和整合式的解决方案,从现有架构循序渐进地转向云架构,如果不能实现统一的管理,再精良的存储软硬件也只能是一盘散沙。

参考文献:

[1]朱珠.基于 hadoop 的海量数据处理模型研究和应用[d].北京邮电大学,2008.

[2]袁正午等.云计算应用现状与趋势[j].数字通信,2010(3) .

[3]袁正午等.云计算应用现状与趋势[j].数字通信,2010(3).

[4]孙健,贾晓菁.google 云计算平台的技术架构及对其成本的影响研究[j].电信科学, 2010(1):87-88.

[5]张和生,张毅,胡东成.海量数据管理框架与方法研究[j].计算机工程与应用,2004,40(11):26-29.