大数据处理能力达到前所未有的巅峰

TT中国 12年06月06日 14:00 【转载】作者：Cameron McKenzie 责任编辑：王振

导读：大数据管理现在已经成为企业开发社区中的一大热门话题。但为什么大数据的讨论成为一种现象会为这么晚?为什么过去大数据处理没有成为企业工具集的一部分，是不是现在的信息技术生态系统使得大数据解决方案变得如此的明智。

大数据管理现在已经成为企业开发社区中的一大热门话题。但为什么大数据的讨论成为一种现象会为这么晚?为什么过去大数据处理没有成为企业工具集的一部分，是不是现在的信息技术生态系统使得大数据解决方案变得如此的明智。

大数据管理如此流行的一个关键原因是，无需言明，多数组织不得不对处理日益增长的数据进行管理。从互联网搜索引擎，到庞大信息量的检索，再到基因科学或大气科学的研究项目，人们关注并尝试的数据量变得越来越庞大。曾经兆字节数据的处理就是很惊人的期望，但与现在组织面临的千万兆字节相比，就变得苍白无力了。

处理能力是关键。一方面它要有能力存储巨大量的数据;另一方面它要能够进行处理。毕竟，如果它不能挖掘出来，但用什么来存储数据?谈到数据挖掘，我们讲的心比挖掘煤矿还快的速度处理数据。如果我们不能在合理的时间内，从数据中找到有意义信息，那么它就是无用的。

现在，管理大数据非常可行，因为处理能力可以负担得起。过去，财富500强公司需要稀释他们的股份和发行更多普通股，为了能够购买多元处理器，这样就能够存储兆兆字节的数据。但是现在一个小学生，用他的零用钱就可以买到等价处理能力的处理器。

另外，确实没有和过去一样的需求，需要出去从像Oracle和IBM那样的公司中，购买大的硬件和令人印象深刻的工作站。而一个明智的IT部分可以从网上轻而易举的购买到上百个主板和多核处理器，并以历史上最低价从台湾直接装运过来。改道开源软件可以用来把各种各样的主板、处理器编成组，而国产的处理能力可以以千兆位字节吞噬掉非结构化的数据。

伴随着处理能力，免费软件也有能力强化了大数据运动。HBase之类的工具可以用把大数据存储在单一数据库表中，或海量数据库表中，海量数据库表可以扩展出数十亿的行和数以百万的列。从那里，如果你有兴趣挖掘你HBase数据，Hadoop可以帮助你处理那些海量数据集，并理解其不断积累的信息。

“如果想得到特殊的东西，你可以访问，你可以访问HBase领域的数据;但如果想获得关于分析的一些数据，比如说，你希望在数十亿的记录中，找到出某个星球的平均年龄，那么你可以使用Hadoop。”Java之父，James Gosling说。“它最终会非常快速并且非常高效。”

累积的大量数据池、处理能力的负担能力和专业化软件的可用性，这三大理由不仅使“大数据”成为互联网的一个敏锐话题，也成为了管理信息的一个可行方法。结合了廉价的处理能力，并且能够免费的下载，通过像Hadoop和HBase这样的开源软件解决方案，企业架构师们有更新，更有效的工具来处理在大数据了。随着越来越多的公司从一系列不同的出入中，收集了更多的信息，使得大数据处理能力达到前所未有的巅峰。