基于Hadoop云模型及相关云技术研究
中关村在线 12年05月22日 11:26 【转载】 作者:e-works 责任编辑:周晓丽
导读:云计算是由企业界开始发展,然后才进入学术界引起重视的,这与网格计算相反。经过对迄今为止的云计算相关学术论文进行统计分析后,显示学术界对于云计算的研究主要集中在云技术关键技术方面。云计算研究的关键技术包括虚拟机、安全管理、数据管理、云监测、能耗管理和计算模型等。
2.3 伪分布模式
图4
(2)安装配置SSH
启动eygwin,执行命令:\$ssh-host—eonfig。
当询问“Should privilege separation be used”时.输入no;当询问”Do you want to install sshd as a service?”选yes;当提示“Enterthe valHe of CYGWIN forthe daemon:[ntsee]”时,选择ntsec。
提示sshd服务已经在本地系统安装完毕。输入命令\$net startsshd,启动SSH,或者在Windows服务项里启动CYGWIN sshd。
图片说明
然后执行\$ssh—keygen来生成密钥对.然后一直回车键确定。这样会把生产的密钥对保存在.ssh目录下。使用命令将RSA公钥加入到公钥授权文件authorized_ keys中:
访问http://grid1:50070可以查看NameNote以及整个分布式文件系统的状态.访问http://gridl:50060可以查看TaskTraeker的运行状态。
运行完数据处理.查看结果和关闭Hadoop的操作和伪分布模式相同。
3 结束语
虽然Hadoop支持Windows,但官网上同时声明Hadoop尚未在Windows下严格测试,建议只作为开发平台。
而且,格式化Hadoop文件系统是Hadoop启动的第一步,每次格式化前,要清空\$HADOOP_HOME\tmp目录下的所有文件.因为Hadoop格式化时会重新建立NameNoteID.而tmp里还包含上次格式化留下的信息。格式化虽然清空了NameNote的数据,但是保留了 DateNote的数据,这样会导致启动失败。
另外,在{HADOOP_HOME}\logs目录下,NameNode、DataNode、Secondary NameNode、JobTracker、Tasktracker各有一个日志文件,当出现故障时,分析这些文件也许会有帮助。