/ 中存储网

大型商城容灾系统建设实例

2010-06-12 11:56:36 来源:51CTO

60小时不夜城!这是2009年沈阳兴隆大家庭商城圣诞节的又一个“不夜城策划”——在这个名为圣诞购物狂欢节的大型促销活动中,这个沈阳第一家巨型购物中心又一次走在了同行业竞争对手的前列,12月24日,从早上九点半开业,到夜里十二点,兴隆大家庭商业集团的各家商城和购物中心将会带来又一个“不熄灯”的圣诞节。

对于辽宁兴隆大家庭商业集团来说,举办这样的“不夜城”已经不是第一次了,在2009年几乎每一个重要的节日,无论是元旦、春节、五一还是十一长假,兴隆大家庭旗下的各家门店,都以这种近乎“疯狂”的活动来进行一场极为声势浩大的促销,但是,兴隆大家庭的同业者们却在艳羡的同时,并不知道整个兴隆大家庭的信息部所付出的努力。

而一个又一个的“一夜城”和一个又一个大型活动,不仅仅让人们记住了兴隆大家庭这个在辽宁地区具有极大影响力的民营商业集团,每到过年或节假日便接踵而来,更让所有的商业零售业同行十分诧异:兴隆大家庭到底是如何做到这一切的?

事实上,就在兴隆大家庭的众多同业仍然在考虑将独立的系统进行交互、兼容和集中的时候,兴隆大家庭的CIO、信息部部长周如,却不仅早已不再为系统的整合与设备集中所困,更是已经完成了许多他的同行们连想都不敢想的工作:周如和他的团队为兴隆大家庭建立了一套坚实的容灾与业务连续性系统。

兴隆大家庭:数据与业务 不能承受之重

周如说在企业高层批复进行容灾工程之前,他其实并不忐忑,高层是否批复,他是心里有数的,凭着兴隆大家庭多年对信息化的重视,信息化对兴隆大家庭商业集团所带来的益处是有目共睹的,而真正令他忐忑的,是到底怎么做?到底能不能做好?

“董事长批准以后,事实上一直过了很久我们才做完,我们考虑要万无一失,经过了反复的验证和测试。”周如心里十分明白,做灾难备份这件事情,赢得领导的支持并不难,难的是“做了没什么好处,不做却有坏处,虽然很可能一直用不上,但是一旦业务系统出了问题,最后的屏障就是容灾系统。”周如用了四个字来形容当时自己完成这个项目时的心情:高度慎重。

“以前我们的进销存、财务都是分离的,后来在沈阳做了数据中心,把业务、财务、经营管理数据都做了集中,但是,集中的不仅是数据还有风险。”周如虽然对“风险”二字虽然轻描淡写,但是经他详细一说,这“风险”二字的分量陡然重了起来。

周如说,在商业零售业中,晚上十点关门,早上六点营业是再平常不过的事情,而所有的零售企业又都需要日结,这也就意味着,算上生成报表再转移给财务系统的时间,整个日结又需要两个小时,而与此同时,日结的特点又要求业务中心的备份周期是一天,而不是两天或是一周——周如说,现在的兴隆大家庭,一天备份的业务和财务数据就有几百个GB。

“如果丢失,就意味着要有非常多的人力物力去找回,要一条一条的输入,而且,现在商业零售业的业务普遍都依赖信息系统的正常运转。”而周如不经意间还提到,在兴隆大家庭,所有的关键业务的数据都是“每天全备份”,周如说,以前根本不敢想遇到节假日如果出现数据丢失的情况,因为丢失的数据会“非常非常多”。

于是,周如和他的团队,着手开始为兴隆大家庭在信息化上思考保驾护航。

横跨数百公里:如何更加快速?如何更好保护?

在不断的学习和摸索之后,周如意识到,做容灾,而且是异地容灾,不仅需要有最好保护介质,更要有好的保护机制——周如说,对于网络带宽并不富裕的兴隆大家庭来说还有一个额外的要求:系统一旦上线,远程传输在广域网上对带宽的要求要更低,不能够“淹没广域网带宽”。

显然,对于周如的要求来说,做容灾却并不是一件简单的事情,虽然如今的备份恢复软件能够帮助CIO们快速、高效甚至自动化的进行备份和恢复,而无需人工干预,而业务系统通过新的光纤磁盘阵列也能够满足备份容量的需求,在周如和他的团队面前,仍然有两座大山:

兴隆大家庭位于沈阳的业务中心与灾难备份中心相聚数百公里,而贷款只有一条租用的5M带宽的互联网链路,同时,对业务数据要求越来越高的兴隆大家庭,数据量的激增和商业零售业往往营业到深夜,却又较早开门的营业特点带来了两个根本的问题:尽可能缩小的备份窗口和更好的数据保护——正像周如所说,要“万无一失”。

“我们开始是SAN的环境,后来我们决定上虚拟带库,以及新购置昆腾的Scalar i500磁带库。”周如和他的团队,最后选择了一个当下“十分流行”的做法:D2D2T——将业务系统上的数据有层次的转移到昆腾的DXi3500虚拟磁带库上面,同时在Scalar i500上进行最终的离线备份。

不过,真正完成的项目却并不像说起来这么简单,在这一次利用昆腾的虚拟磁带库、物理磁带库建立的容灾系统上,兴隆大家庭实际上建立了三道数据的“防线”:

第一重是利用DXi3500虚拟磁带库建立的本地高速在线备份,利用其本身带有的重复数据删除和远程复制功能,将关键业务的全部数据通过iSCSI链路备份到DXi3500上;紧接着的是第二重的离线磁带备份:在数据中心再配置一台昆腾Scalar i500智能物理磁带库,通过备份软件自动将数据从虚拟磁带库克隆到物理磁带库;第三重是异地的容灾备份:周如在异地的鞍山和沈阳本地各配置一台DXi3500虚拟磁带库,通过TCP/IP自动抽取重复删除后的备份集数据,“一旦数据中心的数据发生灾难,通过昆腾DXi3500虚拟磁带库的iSCSI链路,可立刻及时恢复数据,延续业务的连续性。”

周如:昆腾的三个惊喜

周如说,让他感到吃惊的第一点就是昆腾的“王牌”:重复数据删除技术——而这正是使得基于TCP/IP的数据容灾得以实现的根本原因,“我们发现用了之后,对广域网的要求会很低,现在每天同步的量也就120GB左右,即使是全盘备份也就是260多个GB,这对我们来说节省了大量的广域网带宽。”

周如说,虽然对数据灾备一直有强烈的需求,但传统方式的数据灾备其数据传输量太大,太占带宽,拖慢系统运行,严重影响了正常业务的运行,而且缺乏有效的恢复手段,而“昆腾的虚拟磁带库带有重复数据删除技术大大提高了远程传输效率,在不增加带宽成本的情况下解决了我们一直以来存在的灾备烦恼。”

而更让周如吃惊的是,以前所考察的大量灾难备份解决方案都太过昂贵或是复杂,“适合中小企业的太少”。周如说,作为兴隆大家庭这样的用户,非常担心那种“投入精力很大,设备买回来却不懂得用,用不起”的情况。

“我们追求的是低成本的信息化,高层给的投资是固定的。”周如说,昆腾所推荐的“D2D2T(磁盘到磁盘到磁带)”的方式,加上重复数据删除技术,既能够保证沈阳本地的高可用和及时恢复,又能够保证数据在鞍山的异地保护,还能够完成磁带介质的离线——在线+离线,本地+异地,磁盘+磁带,周如说,这应了一句老话“麻雀虽小五脏俱全”,“做灾备做就要做得俱全,否则就会有隐患,但是我们也不追求豪华奢侈,要做实用的灾备。”

不过,最让周如惊喜,但也可以说是“淡漠”的是,昆腾的设备自入驻之后便从未出过问题,使得他甚至已经“忘记了”他们的存在——“最好的服务就是没有服务,让我们把它忘记掉,让设备处在被忘记掉的状态,越高深的设备应该使用起来越简单。”

“引起重视都是故障率很高的。”周如半开玩笑的说道。

商业零售业的信息化典范:高层力主信息化

今年四月,在对全国的商业零售业做了普查之后,中国社会科学院发布了一份名为《商业蓝皮书:中国商业发展报告(2008—2009)》的报告,在报告中,社科院的专家们一阵见血的指出:在第一阶段的信息化过程中,零售企业积累了大量的数据,且企业在维护这些计算机设备和数据库系统上进行了可观的投资,但却深受“信息孤岛”的影响,无法利用这些数据获得对企业业务最直接的支持,而且,商业零售业对数据、业务的可靠性和安全性的认识仍然十分淡漠。

但是,正如前文所述,在兴隆大家庭,景象却并不一样——数据与数据、系统与系统、应用与应用之间的分离已经不再存在,集中的数据中心在兴隆大家庭中已经是昨日黄花,而周如和他的团队最新的工作成绩正如之前所说,已经完成了信息系统的容灾备份。

“做这样一个项目,我们是国内的第一批,零售企业对于容灾,是‘想做的很多,但是做的很少’。”周如说,这是与企业的高层对于信息化的看重分不开的,“很多零售业的IT部门都停滞在一个阶段了,因为他们没有获得高层的支持,但是企业发展到一定的程度,是需要做这样的事情的。”

周如说,在兴隆大家庭,信息化是一个“重要的事情”,从1993年第一批上电子收款机,到后来的业务系统信息化、财务系统电子化、电脑管理,“信息化在兴隆成为了传统,就这么延续下去了。”——对于周如来说,他这个信息部部长就像是获得了尚方宝剑,自然是喜笑颜开。

“零售业挣钱不难,但是挣大钱难,很多零售业甚至也不挣钱,原因就是管理的不好,所以我们的董事长就一直力主做信息化,用信息化提高管理水平,上进销存、财务系统,甚至包括今天的容灾系统,其实都是一直做下来的。”周如说,这几年随着人们生活水平的提高,零售企业发展的很快,会做很多业务,做预付费卡、电子化的货币,如果没有信息化,没有未雨绸缪的容灾系统,这些都是空谈,都是“高屋建瓴”,而容灾则是信息化必不可少的一环。

后记:

现在,拥有超过50万平米的营业面积和一年60亿的销售额的兴隆大家庭商业集团已经成为了企业3.1万余人真正的“大家庭”,作为辽宁地区的商业旗舰和最大的民营商业集团,2010年,集团董事长李维龙为企业定下的目标是“年销售100亿元”——周如说,兴隆人有一个理想,那就是成为“中国商业第一家”,把“兴隆大家庭”做成一个品牌,无论走到哪个城市,都会看到“兴隆大家庭”,实现兴隆人“发展连锁,商业报国”的宏愿。

在这个过程中,让信息化成为业务发展的助推剂,让容灾系统为业务系统的平稳运行保驾护航是整个集团的信息部每一个员工的理想,而对于兴隆大家庭信息部以及周如这个信息部部长来说,接下来的的核心工作,将是如何利用信息系统更好的促进公司的新业务,帮助企业实现新的突破——兴隆大家庭的信息化已经将很多的同业者远远抛在了身后。