专访Etu：打造Hadoop一站式解决方案

IT168 12年06月14日 10:50 【转载】作者：小野责任编辑：王振

导读：近几年，随着数据量的爆炸式增长，数据挖掘和商业智能也迎来大数据的新时代。单纯的对购买数据进行分析已经不能满足市场的需求，而对潜在客户的行为分析逐渐成为主流。

提问：

咱们从云计算做大的数据，现在从大数据做Hadoop，我想了解咱们的产品跟云计算有什么联系?

陈昭宇：

云计算是一个很广泛的议题，包含很多。因为现在以运营商和服务商来讲，提供云的服务。比如说微博，现在有这么多的用户，整个后台系统，包括分前端 WEB服务器，这个很多网站可能会使用虚拟化的方式，很快的可以扩展出去，这是云计算的一环。这些WEB服务器应用给客户层，会留下大量的日志，你注册了微博他会推荐你新的朋友，这些就是要用Hadoop这样的技术，把大量的信息采集过来，要放到一个够大的存储，够行的有运算能力的地方，然后才可以进行离线分析，结果出来了才可以回到前端应用。Hadoop是大的云计算议题里需要特别关注的，包括数据处理、数据挖掘和资料分析。

蒋居裕：

我们已经知道Hadoop技术起源是来自Google发表的论文，后来开源，雅虎赞助这个开源的项目。我们必须先定义Google、雅虎，Facebook这些都是云服务公司，而且是超级的云服务公司，Hadoop是来自超级云服务公司，他们为了让客户体验做的更好。大家不会喜欢在雅虎上面打一个关健词做搜索，结果出来的很慢，他们就是利用Hadoop这样的技术让我们觉得用户体验不会觉得慢。

回头，这些行为资料，我们举例了做关联推荐云服务的服务，既然这些是来自云服务的使用行为，转化是告诉你看这个东西以外还可以看什么，所以技术来自于“云”，要服务的也是“云”。

提问：

刚才说了加数据可以加一台机器，如果利用云计算可以不用在一体机里加设备了。

查礼：

比如我是私有云的用户，你加不加机器我不知道，我只知道我处理数据量的性能提高了。从这个角度来说，技术上是可以包含这个特性的。

蒋居裕：

因为这个技术是来自于这些云公司，这些云公司除了处理数据之外，像我们知道Google所谓做SASA服务，不管是社区、邮件、地图或者是文件，这些服务都是给一般的用户去用。他们都是用X86商用机器，这么大的数据量可能需要100万台，每天都会有硬盘死掉，重点是硬盘死掉用户数据会不会丢失?服务会不会停下来?不会，因为他们软件技术很厉害，他们企图用软件技术做到分布，让硬件出错的时候数据不会丢失，机器不会停下来，很快的替换，很快的回来。

查礼：

之前容错是用硬件的方式保证不出错，但是实际上比如说背板坏了，再修改，数据也全丢了。包括我也听说过，IBM给银行做的项目也出现过这样的问题。现在技术发展一个是Google是用纯软件的方法保证，虽然看起来浪费了存一些副本，但实际上这种方式更好。

陈昭宇：

我前几天看到一个统计，2009年Hadoop运行10个集群，总共2万台服务器，上面共有32.9亿个区块，其中仅丢失650个区块，这650个中仅有19个是完全无法修复的，所以从数据量计算，它的可靠度达到99.99999%，这是非常非常高的可信赖度了。

查礼：

它是现在用的方式非常便宜，现在一般互联网的方式是两U计价服务器配三块盘，整个一台机器价钱也就是几万块，它用很低的成本能达到很高的可靠性。这是它的技术创新的关键。如果说都是钱堆出来的，这就不稀奇了。

蒋居裕：

所以企业要越来越熟悉这个世界上有另外一种方式在架构IT。虽然他们现在不熟悉，我们会慢慢让他们熟悉。