Hadoop+至强——Hold住医学领域的大数据

DOIT云计算 12年09月03日 09:34 【原创】作者：蓝调责任编辑：唐蓉

导读：生物医学研究领域，大数据处理的速度有时候直接关系到生死存亡。例如，在一些新型的传染病爆发时，如何快速发现病因，并控制疾病的传染，这时，数据处理的速度将直接关系着无数生命的存亡。

至强+ Hadoop——生物医学大数据处理的完美搭档

生物医学研究领域，大数据处理的速度有时候直接关系到生死存亡。例如，在一些新型的传染病爆发时，如何快速发现病因，并控制疾病的传染，这时，数据处理的速度将直接关系着无数生命的存亡。

如何才能提升生物医学领域大数据分析的速度?这需要从整个系统的角度来考虑和优化。今年上半年，英特尔推出了至强E5处理器平台，其在I/O性能和处理速度等方面的提升，为大数据的处理注入了全新的动力。同时，基于英特尔的处理器平台，英特尔还推出了“英特尔Hadoop发行版”，充分利用英特尔平台硬件的新技术进行优化，在软件层面提升了大数据处理的速度。接下来，我们将分别从硬件和软件两个层面，看看“英特尔至强E5处理器”与“英特尔Hadoop发行版”究竟是如何让大数据的处理速度发挥到极致。

首先，在硬件层面，英特尔今年上半年推出了全新的基于Romely架构的至强E5处理器平台，其超强的I/O性能和处理速度让它成为大数据处理平台的不二之选。我们知道，大数据分析和处理的应用一般都是I/O密集型的应用，这时，系统性能的瓶颈往往不在于系统的计算能力，而是在于系统的I/O能力。打个通俗的比方，当我们很饿的时候去餐厅吃饭，吃饭的速度(类比为数据处理速度)将会远远超过上菜的速度(类比为I/O速度)，这时上菜的速度就成了我们吃饭这件事情的瓶颈。

英特尔E5处理器平台在I/O方面有着独特的优势。一方面，它集成了PCI Express 3.0，其信号强度为8GT/s，可以实现1GB/s的数据吞吐能力。PCI Express 3.0总线的超高数据传输能力不仅解除了PCI Express 2.0系统总线对USB 3.0和SATA 3.0接口的性能的制约，还能让SSD硬盘更好地发挥其高速度的优势，从而提升整个系统的I/O能力，加快大数据处理和分析的速度。另一方面，至强E5系列还采用了DDIO(Direct I/O，数据直连IO)技术，数据可以直接进入L3缓存中为CPU读取，不需要经过内存，这就避免了数据从I/O到内存再从内存到CPU之间的延迟，在处理大规模I/O数据时，DDIO的优势更明显。

除了I/O之外，在大数据处理系统中，计算性能也是十分重要的。在英特尔至强E5处理器中，每个处理器最多可集成8个内核，24个插槽最多可以支持768GB的内存，并采用了第二代Turbo Boost2.0睿频加速技术，与上一代的至强5600系列相比，性能提升了80%。

当然，除了硬件的性能，大数据处理软件的能力以及软件与硬件的配合能力对于整个系统性能的影响也尤为突出。尽管Hadoop已经被证明是比较好的开源大数据处理平台，然而，作为一个开源的平台，它在实时处理能力和管理工具方面也存在着一定的缺陷，这也使得它与很多企业用户擦肩而过，尤其是那些没有强大的技术实力的企业。为此，今年上半年，在开源领域一直十分活跃的英特尔推出了“英特尔Hadoop发行版”。

图英特尔Hadoop发行版

“英特尔Hadoop发行版”充分针对英特尔处理器的新技术进行了优化，因此，二者相结合可以发挥出更好的性能优势。这就像是一个武林高手，当他拿着属于他自己的武器时，便能人器合一，发挥出更大的力量，而“英特尔Hadoop发行版”就是为英特尔E5处理器平台量身打造的武器。同时，“英特尔Hadoop发行版”还对HBase做了优化和创新，加强了Hadoop的实时数据处理能力。更值得一提的是，为了方便了企业用户进行Hadoop的安装、部署、监控、警告和访问控制，英特尔开发了Intel Hadoop Manager2.0，大大提升了Hadoop的易用性，也让企业能够更加专注于自身的业务创新。

写到这里，笔者不禁想起美剧《泰诺星球》中的情节，当人类不得不通过时间裂缝逃亡到另一个没有被污染的史前世界时，正是强大的医学研究成果帮助人类从一次又一次的劫难中获得重生，最终得以以正确的方式重建人类文明。虽然这只是一个科幻片，但从中我们能够感受到，医学研究对于人类生存和发展的重要性不可忽视。今天，当大数据分析和处理能力已经成为生物医学研究不可或缺的手段时，我们更需要“英特尔至强E5处理器”与“英特尔Hadoop发行版”这样强有力的大数据武器来助我们一臂之力。