/ 中存储网

华为在2015 Spark峰会展示高效大数据处理女娲(NüWA)样机

2015-06-24 01:52:23 来源:中存储

华为在2015 Spark 峰会上首次展示女娲(NÜWA)大数据处理一体式产品样机。NÜWA融计算与存储为一体,并进行了独特的硬软件协同设计与优化。测试数据表明,相比开源Spark与标准PC服务器,NÜWA的性价比提升10倍以上,将为客户带来更高性能的大数据处理解决方案。

目前很多企业已经建设了大数据平台,但是数据的高速增长以及业务种类增多,导致了对存储容量、计算性能的压力不断增大。在一些大型企业的数据中心中,耗电量和空间的限制往往导致升级和扩容困难。针对这些客户痛点,华为对大数据处理的架构进行了创新设计,推出集计算、存储与分析的一体机NÜWA。 

NÜWA是业界首个完全基于商用芯片的解耦架构微服务器,其计算节点和存储节点可以任意混搭,在简化管理的同时,耗电量相比普通PC服务器降低50%以上,设备体积压缩到25%以下。NÜWA具备了业界最高性能的编译式执行引擎,可自动实现查询计划到机器代码的转换,性能匹敌充分优化的手工代码。测试结果显示,NÜWA处理数据速度是Spark的10-100倍。在数据存储方面,NÜWA采用计算速度更快、恢复代价更小的EC(Erasure Coding)算法实现,在性能保持不变的前提下,存储空间比Hadoop分布式文件系统(HDFS)节省50%以上。    

另外,女娲还独创FPGA “Dataflow处理器”, 智能优化生成的数据分析流程,可执行所有结构化语言查询(Structured Language Query),性能优于现有FPGA加速方案。

NÜWA负责人韦竹林表示:“华为NÜWA一体机在具备高速处理、兼容易用、软硬件在线可扩展的前提下,可充分覆盖私有云和公有云的经典场景。目前,NÜWA样机已经开发完毕,华为正与知名客户共同开展实验局工作,预计将于2015年底上市发布。我们期待为更多客户提供性价比优秀的NÜWA大数据处理解决方案,实现共赢”。

华为NÜWA产品名字来源于中国一位炼石补天和抟土造人的神话人物女娲(NÜWA),寓意是采用大众芯片,通过一体机集成的创新设计与算法优化来开发出革命的产品,重新定义 IT服务器市场。