VMware为大数据跑车建造云计算高速公路

中关村在线 12年08月10日 09:25 【转载】作者：中关村在线责任编辑：张文希

导读：面对快速攀升的高达PB级海量业务数据，人们自然想到了很多疑问，大数据如何能帮助我的业务，云和大数据到底有什么关系，云能落地吗？Hadoop是不是大数据的万能药？虚拟化在大数据中将扮演什么角色？带着这些问题，我们来走近大数据。

虚拟化提高Hadoop的安全性、灵活性和易管理性

Hadoop是Apache基金会发起和研发的，是目前业界公认的开放平台之一。授权公司可以发布自己相应的Hadoop版本。以Hadoop为代表的分布式系统，是大数据系统必要但不充分的组成部分。必要性是因为现在的大数据中很多数据是机器产生的数据，或者是物联网各种各样的探测器、电脑产生的日志，这些是人为产生的，而且数量巨大，不适合把它直接放到数据库中去。而Hadoop就提供了全新的方式，可以轻松进行平面扩展，把这些数据放在库里进行任意的数据分析。Hadoop成功的建立了这个环境，使得围绕Hadoop的软件能够提供各种各样的功能，完成智能分析工作。

说它是不充分的理由是因为我们需要对数据进行分析，客户可以把数据放池子里，Hadoop则把这些数据分成几百个、几千个节点，这是在特定的某些应用场景必须进行的部分。但是更多的应用场景是需要实时的反应，互动的反应，这时候就需要其他技术，包括内存类检索技术，甚至在数据产生时要进行实时反应的技术。这些技术都结合在一起，才是一个完整的大数据处理系统。所以VMware及其合作伙伴一直在实时反应、互动和内容检索等方面不断努力。

VMware的战略方向是和业界领先的不同版本都进行合作，以开放的态度建立一个生态圈，支持所有版本的Hadoop都能在VMware的虚拟化平台上运行。在这个指导方向下，VMware做了如下几方面的工作。一方面是和社区紧密合作，VMware开发者和和社区的开发者一起，输入Apache源代码库。Hadoop在它产生的时候，并没有考虑到虚拟环境，它是一个物理环境的技术，比如机器和机架的物理概念，但没有虚拟机的概念，VMware加进去的代码就加进了虚拟机的概念，虚拟机的概念和其他概念有一些不一样，需要特殊处理，在源代码里就知道它在虚拟环境中运行，进行优化。通过VMware的努力，使得现在的Hadoop开源技术，能够在虚拟化环境里运行。能够让它十分钟甚至更短的时间之内，从无到有，产生新集群。VMware的目标就是为超级跑车创造一条宽敞大道，使得大数据跑车能够快速跑起来。

另外， VMware虚拟化对Hadoop的作用，就是使它更接地气，并从现实角度适用于云计算环境，使它更易于管理并且安全。

第一、让Hadoop适用于多租户环境，很多时候公司里需要Hadoop或者大数据系统，往往不只是一个部门，不同部门在私有云里有可能都需要自己的Hadoop集群。在公有云上就有更多类似的需求，虚拟化就提供了一个很好的架构，可以使得多个集群之间非常灵活的同时运行，不互相影响。

第二、提高Hadoop的安全性。现在业界的基本方案都是在一个Hadoop平台上运行，信息保护非常不安全，相互能看到各自的数据。VMware的虚拟化在不同集群之间产生强隔离。

第三、提高Hadoop的可伸缩性。因为Hadoop集群，物理环境一旦产生了，要加节点，尤其是减节点是很不容易的。Hadoop需要观察每个部门，或随着时间推移上下的波动的需求。在虚拟化情况里，就会使得它很容易进行这样伸缩加减节点。

最后一点是增加CPU的利用率。根据Hadoop社区的普遍反应，4万个节点集群，平均CPU利用率只有20-30%，虚拟化则大大提高了这种利用率。

软件主导的数据中心开放才是硬道理

VMware对数据中心架构有深远的影响。近年来整个数据中心从一个硬件主导逐渐往一个软件主导的世界转变。数据中心以往大都以计算为主导的，而现在越来越多的应用是以数据为主导。 VMware提供统一的基础架构，希望既能够满足以计算为主导的应用，也能满足以数据为主导的应用。

开放是VMware的精髓，在数据管理的发展道路上也印证了分久必合、合久必分的趋势。在四十年前数据管理是群雄混战的年代，有很多数据公司有他们一统江山的解决方案;现在的大数据则是颠覆性的、百家齐放的年代，一家独大的技术已经不能满足所有数据需求了。在这样的时候， VMware希望提供好的土壤，通过比较灵活的基础架构，使得客户非常容易，并以非常低的门槛即可尝试各种各样新的技术，不用很大的投入即可尝试Hadoop。

VMware大中华区总裁宋家瑜说：“云时代厂商没法固步自封，是完全市场为导向的时代。市场告诉我们，客户有各式各样的过去、现在和未来的选择。我们坚持去了解客户的需求，采用开放态度与厂商来合作。我们常常看到一个成功厂商的成功的过去，但这种成功也常常成了包袱，VMware非常清楚这一点并时刻保持开放的态度和策略，这是也是我们为什么一直保持创新并领跑于市场的秘诀所在。”

大数据中国心

随着云计算和大数据策略在中国的展开，VMware的研发事业在中国也大有进展。继去年北京研发团队扩张以来，在今年9月份，上海研发也宣布进行扩容并增加研发投入。整体的发展表明VMware公司对中国研发团队卓越创新能力的信心和肯定，以及公司对进一步发展和支持中国云计算市场的决心。

中国团队也不负众望，在很多项目里都有杰出的表现。VMware 全球高级副总裁范承工说：“我们非常高兴看到中国研发团队在参与全球主流技术的研发过程中取得了优秀的成绩。Hadoop相关技术是在中国诞生的，第一个工程师在中国自主研发Hadoop技术，得到了总部的认可，然后才把这个项目做大。目前该项目工程师有一半在中国。这样领先的技术，是由中国研发队伍来领导的。”