大数据大发展 Hadoop成为关键部件

网界网 12年07月03日 14:22 【转载】 作者：网界网 责任编辑：王振

导读：由于认识到Hadoop的巨大潜力，更多的用户在使用现有Hadoop平台技术的同时，着手研发自有的技术，以对Hadoop堆栈进行补充。

关键词： 大数据 Hadoop 数据管理

Tagged的高级数据工程师Rich McKinley则表示，Tagged社交网络正在使用Hadoop技术用于数据分析，处理每天所生成的接近0.5个太字节的新数据。Hadoop还正在 被用于Greenplum数据库容量之外的任务中。目前Tagged仍然在使用Greenplum数据库。McKinley说：“我们希望仅通过扩展让 Hadoop做更多的工作。”

尽管大家都在称赞Hadoop，但是部分用户认为仍然有一些问题需要解决。比方说，Hadoop在可靠性和工作追踪上的不足。Tagged的 McKinley指出了Hadoop在延时上存在的问题。“获得数据的时间应该非常快，然而每个人最大的抱怨就是它进行查询时的延迟太高。” McKinley说。Tagged目前正在使用另一个Hadoop派生项目Apache Hive进行查询。他说：“Hadoop需要花上数分钟才能给出结果，而Greenplum给出结果只需要几秒钟。但是与Greenplum相 比，Hadoop更加便宜。”

Hadoop 2.0蓄势待发

Hadoop 1.0在2011年被推出，其拥有通过Kerberos(麻省理工学院开发的安全认证系统)的高强度安全认证，支持HBase数据库。对于即将推出的新版本，HortonWorks的CTO Eric Baldeschwieler提供了一个包括2.0版本在内的Hadoop技术发展路线图。(HortonWorks公司是Apache Hadoop的主要资助者之一)。

Hadoop 2.0版本在2012年年初进入测试阶段。Baldeschwieler表示：“在这一版本中，MapReduce层进行了部分重写，所有的存储逻辑和 HDFS均进行了彻底重写。”Hadoop 2.0技术改进的重点放在了利用Yarn(下一代MapReduce)和众多功能进行扩展与创新方面。Yarn将允许用户添加自己的计算模型，这样一来， 用户就不用必须使用MapReduce了。“我们希望，社区能够发现更多使用Hadoop的新方法，期待的用法包括实时应用和机器学习算法。而可扩展性、 插接式存储也在规划之中。”Baldeschwieler说。据悉，Hadoop 2.0的公布发行版本预计将在2012年年内推出。

• 人人网
• 腾讯微博
• 新浪微博