/ 中存储网

云计算发展离不开的6大关键技术点评

2012-04-10 00:25:38 来源:中存储

海量分布式存储技术

为保证高可用、高可靠和经济性,云计算采用分布式存储的方式来存储数据和冗余存储的方式来保证存储数据的可靠性,提供廉价可靠的系统。为了满足大量用户的需求,数据存储技术必须具有高吞吐率和高传输率的特点。

云计算的数据存储系统主要有Google GFS(Google File System)和Hadoop开发团队的开源系统HDFS(Hadop Distributed File System)。大部分IT厂商,包括Yahoo、Intel的“云”计划采用的都是HDFS的数据存储技术。

数据管理技术

云计算系统对大数据集进行处理和分析,向用户提供高效的服务。因此,数据管理技术必须能够高效地管理大数据集。其次,如何在规模巨大的数据中找到特定的数据,也是云计算数据管理技术所必须解决的问题。云系统的数据管理往往采用列存储的数据管理模式,保证海量数据存储和分析性能。云计算的数据管理技术最著名的是Googe的BigTable数据管理技术,同是Hadop开发团队开发了累死BigTable的开源数据管理模块HBase。

并行编程模式

为了高效地利用云计算的资源,使用户能更轻松地享受云计算带来的服务,云计算采用MapReduce编程模式,将任务自动分成多个子任务,通过Map和Reduce实现任务在大规模计算节点中的调度与分配。

分布式资源管理技术

在多节点并发执行环境,分布式资源管理系统是保证系统状态正确性的关键技术。系统状态需要在多节点之间同步,关键节点出现故障时需要迁移服务,分布式资源管理技术通过锁机制协调多任务对于资源的使用,从而保证数据操作的一致性。Google的Ghubby是最佳的分布式资源管理系统。

云计算平台管理技术

云计算资源规模庞大,一个系统的服务器数量可能会高达10万台并跨越几个坐落于不同物理地点的数据中心,同时还运行成百上千种应用。如何有效地管理这些服务器,保证这些服务器组成的系统能提供7×24小时不间断服务是一个巨大的挑战。云计算系统管理技术是云计算的“神经网络”,通过这些技术能够使大量的服务器协同工作,方便地进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现系统的可运营、可管理。Google通过其卓越的云计算管理系统维持着全球上百万台PC服务器协同、高效地运行,起云计算系统管理技术也被作为企业核心机密,至今没有公布任何技术资料。


绿色节能技术

云计算技术降低了服务器的采购成本,从而使电源消耗所带来的运营成本成为云计算计算中心的主要开支之一,为了进一步降低成本,云计算的先驱在绿色节能技术上进行了大量探索。

传统数据中心空调冷却的费用约占整体电费的30%—70%,Google为了节省能源,在比利时的数据中心降温系统无需冷却剂,而是采取室外空气进行自然冷却。根据比利时的气候条件,每年只有7天左右无法使用自由冷却方式。在比较炎热的夏天,Google可以通过云计算管理系统将该数据中心的计算任务转移到其他数据中心。