基于Hadoop平台的云存储应用实践

DOIT云计算 12年03月28日 16:10 【转载】 作者：IT商业新闻网 责任编辑：王振

导读：云计算(Cloud Computing)是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云。

关键词： Hadoop 云计算 云存储

3部署Hadoop

从历史上看，数据分析软件面对当今的海量数据已显得力不从心，这种局面正在悄然转变。新的海量数据分析引擎已经出现。例如Apache的Hadoop，实践证明，Hadoop在数据处理方面是做得最好的且是开源的平台之一。

云存储中心是由大量服务器构成Hadoop的数据节点((DataNodes)，负责保存文件的内容，实现文件的分布式存储、负载平衡以及文件的容错控制。

下面将利用Hadoop作为实验平台，一步一步演示如何部署一个三个节点的集群，并测试一下MapRe-dace分布式处理的强大功能，在Hadoop分布式文件系统(HDFS)中存人两个文件，并采用MapReduce计算出两个namelist文件中各个名字出现的次数，程序架构设计如图2所示。

图2 3个节点的Hadoop集群

其中NameNode主节点和DataNode从节点的分布情况如下：

表1

• 人人网
• 腾讯微博
• 新浪微博