传统技术不给力 软硬一体机智斗大数据
中关村在线 12年06月06日 11:48 【转载】 作者:涂兰敬 责任编辑:赵航
导读:最近几年,业界对大数据的关注度直线上升,全球各大IT厂商和企业纷纷跃跃欲试,都希望能够在大数据上获得更大的商机。所谓"大数据"有两个典型特征,一个数据结构复杂,数据挖掘过程困难;第二,数据量大,而且更新快,处理及时性要求特别高。
Gartner报告指出,85%的大数据属于广泛存在于社交网络、物联网、电子商务领域的非结构化数据。这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新的渠道和技术的不断涌现和应用。
最近几年,业界对大数据的关注度直线上升,全球各大IT厂商和企业纷纷跃跃欲试,都希望能够在大数据上获得更大的商机。所谓"大数据"有两个典型特征,一个数据结构复杂,数据挖掘过程困难;第二,数据量大,而且更新快,处理及时性要求特别高。
大数据带来的挑战和机遇
很多人会有疑问,首先,大数据与海量数据的区别是什么?大数据的数据量不一定有多大,但是数据结构一定是非常复杂,通常处理这些数据集通常要分配到几个系统耗费超过24个小时的时间才能完成。
另外,大数据来自于哪里呢?常见的大数据来自于我们看到的和看不到的地方,例如博客、点击流数据、机器和传感数据和社交媒体等非结构数据,包括企业的呼叫中心、RFID芯片、供应链应用工具和物流工具等,还包括发生在我们身边的短信、客户记录、ATM交易、监控摄像等,都是大数据的一份子。
很多专家认为,"大数据"的推动因素主要是来自一些大型公司,包括金融、银行等,以及一些电子商务和互联网公司,例如京东、谷歌、百度等。这些公司需要以非常优化的方式分析数据和让计算与存储配合工作,另外,一些来自健康医疗、地理空间影像和数字媒体等行业的各种大数据。
但现在的关键问题是,当前大部分企业并不拥有可以有效分析和利用这些数据的能力。对于企业来说,能够解析自己客户的每一个数字化的蛛丝马迹者必将拥有领先优势,这种能力不仅仅在于能够了解过去几个小时里谁在哪里买了什么东西,而且还能够知悉他们是否对此发表了微博、有没有在社交网络上发过相关相片。
而源自IDC一篇关于大数据的报告则一针见血地指出,大数据的商业价值是领军企业与其他企业之间最大的显著差别。那些没有引入新分析技术和新数据类型的企业,不太可能成为这个行业的领军者。
那么,针对大数据,当前有什么良药呢?针对大数据的现状,很多业界认为,大数据的分析是最直接有效的方法,但是这对于很多企业来说并非易事,可以说是挑战和机遇并存。大数据分析面临的最大挑战就是严重缺乏技术熟练的专业人才。更糟的是,新一代分析工具与传统BI和数据仓库所需要的熟练技能不尽相同。缺乏商业支持和与大数据分析有关的整体成本是大数据分析所面临的另外两大障碍。现在,如果使用分析的方法处理这个问题,就能从大数据中获得诸多好处,这些好处是传统BI和数据仓库技术所无法给予的。
未雨绸缪 英特尔提前布局大数据
如今,新技术的大量涌现以及IT硬件成本的大幅下降,让企业有机会可以更加高效、快速地存储、管理和分析各种类型的大数据,并且能够对大数据开始分析和筛选,这些都是他们过去无法想象的。
近年来,市场对于大数据需求的呼声越来越高,而未雨绸缪的英特尔也在很早就开始研发新技术不断提升芯片的处理性能,强化对于大数据处理的支持。可以说,从1971年推出全球首个微处理器后,在长达四十年的时间内,英特尔一直主导着芯片科技的发展。
特别是,2012年年初,英特尔至强处理器家族新成员至强E5系列处理器的发布,使得英特尔至强E5在整体运算性能和I/O带宽方面获得了大幅提升。基于Sandy Bridge-EP架构的至强E5系列处理器采用Romley 服务器平台,应用于二路及四路服务器。