三个层次迎战大数据
DOIT云计算 12年05月24日 21:22 【原创】 作者:蓝调 责任编辑:唐蓉
导读:会上,中国电子学会计算专业委员会副主任委员、微软公司全球资深副总裁、微软亚太研发集团主席张亚勤发表主题演讲,并接受记者采访,他分享了对于云计算,尤其是大数据的趋势的理解,并介绍了微软在云计算和大数据领域的一些最新的计划。
世界经济论坛说数据已经成为一个新的货币、新的资源,像黄金一样。思科说到2014年,超过50%的数据中心,整个计算都会基于云计算的方式来完成。《福布斯》说,90%的数据都是在过去两年中生成的,而且将来每两年这个数据还会翻番。
大数据是当前许多企业面临的重大课题,大量的数据、高响应速度、复杂的数据类型,企业如何才能把它变成信息?怎么样把信息变成知识?怎么才能把知识变成决策?这就需要有更多、很好的数据处理能力。
微软的大数据策略包括三个层面:
首先是数据的管理。对来自不同的地方各种不同数据,进行采集和管理,既包括有实时的数据,也有非实时的数据。微软可以接收各种各样的数据,在物理层次,有企业的、有IOT传感器的、有从网络里面经过爬虫收集的数据。
第二个层次是数据的扩充。怎么样去挖掘、推荐、转换、清洗、按摩、分享和控制?这就是传统的ETL流程。如果是企业数据,微软有数据仓库来进行处理,同时,微软也支持开源的大数据处理平台——Hadoop,Hadoop是开源平台。在处理之后,上面是商业的智能平台;“Hadoop可能对于处理大数据很有效,但是对流数据、实时的数据就不太有效,所以微软开发了对于半实时、或者实时的事件,这个流数据可以去实时地处理”。
第三个层次,就是怎么样把数据很好地呈现出来?最上面一层是好的视觉、可视化呈现的工具,包括PowerView等等,就可以消化这些数据。