数据资源化与云计算融合将是未来趋势

和讯网 12年11月30日 10:45 【转载】作者：和讯科技责任编辑：唐蓉

导读：2012年11月30日至12月1日，Hadoop与大数据技术大会在北京新云南皇冠假日酒店举行。本次会议由中国计算机协会（CCF）主办，CCF大数据专家委员会协办，CSDN承办。大会以“大数据共享与开放技术”为主题，着眼于Hadoop生态系统优化管理与数据分析与挖掘，深度聚焦大数据共享平台与实践与应用。CCF大数据专家委员会秘书长、中科院计算所研究员程学旗发表致辞。

关键词：云计算融合数据资源化

CCF大数据专家委员会秘书长、中科院计算所研究员程学旗

2012年11月30日至12月1日，Hadoop与大数据技术大会在北京新云南皇冠假日酒店举行。本次会议由中国计算机协会(CCF)主办，CCF大数据专家委员会协办，CSDN承办。大会以“大数据共享与开放技术”为主题，着眼于Hadoop生态系统优化管理与数据分析与挖掘，深度聚焦大数据共享平台与实践与应用。CCF大数据专家委员会秘书长、中科院计算所研究员程学旗发表致辞。

程学旗表示，数据的资源化、大数据的隐私问题突出、大数据与云计算等深度融合，三方面是2013年是非常明显的趋势，而技术的机遇大数据的智能会陆陆续续地有一些发展和变化。

同时，程学旗认为，数据资源化，大数据在国家和企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点。

以下为程学旗演讲实录：

程学旗：各位早上好!看到千人大会的会场满满的还有朋友站在后面我觉得还是很欣慰的。Hadoop大会是2008年的时候几十个人在金融所的楼里面讨论的Hadoop IN China，从去年开始上千人到今年有更多的人参加本身就反映了一种趋势。也就是说为什么今年把名字改成了Hadoop与大数据技术大会，实际上大数据不是今年就一定有。大数据的时代已经到来了，五年前我们组织Hadoop IN CHINA这个会已经和今天的大数据的主题比较切合，今年大数据的概念比较大，所以我们把题目改成了Hadoop与大数据技术大会大会。

当然，大数据不仅仅与Hadoop相关，传统的关系数据库和结构化存储相关的技术，在大数据时代的时候是不是有什么新的问题，有什么新的挑战，业界、学术界以及政府部门对相关的大数据是怎么看的。我估计今年至少从10月份以来，国内关于大数据的会议已经开了7、8次了，往后还会陆陆续续要开。这种情况下，中国计算机学会组织大数据专家委员会，不是为了赶热闹，而是组织专家委员会以及把Hadoop归到大数据专家委员会来统一组织实际上是有它内在的理由和原因的。

为什么第一个报告我来讲，去年的Hadoop大会叫数据掘宝，主题已经是跟大数据相关了。今年的主题叫大数据开源与技术共享，这实际上是大数据今年发展面临的关键的问题。今天我是代表中国计算机学会专家委员会来发布大数据的热点及未来的发展趋势做一些调研跟大家分享。

这个工作的过程简单地介绍一下，大数据执行委从今年10月在中国计算机大会上成立以来有70名委员，其中学术界有46位，产业界14位，还有海外学术界委员10位。我们在大连开会的时候探讨过，既然大数据这么热，而且在CNCC大会上有1600、1700人差不多每个人都说自己是做的大数据，无论是做物联网的还是做高清计算的，所有人都说我做的是大数据。当时我们在想，既然整个计算机界人做的都是大数据，那什么是大数据。

我们是不是在赶时髦用同样的一个词装各自所说的酒，也是基于这样的考虑，大数据专家为第一次开会的时候希望能不能邀请业界的人士共同探讨大数据的科学问题是什么、边界是什么，以及为什么大数据成为热点的词以及大大数据技术上的挑战到底是什么。当时的会议上我们提出了这样的议案，最后在很短的时间内从调研分析以及具体的提案到侯选问题的征集到最后专家的投票、委员的投票会聚了现在的结果，这个过程持续了一个多月。这只是初步的结果。

针对大数据问题我们搜集了14个选项，包括科学问题相关的数据的科学问题、大数据的基本内涵、计算模式，跟技术相关的是大数据的多样性和数据态、大数据的空间维问题、时间维问题，如何将大数据变小及数据的价值提炼。数字都是70位委员的投票数。也包括了大数据的关键应用领域，以及大数据对IT 技术和架构提出的安全与占、数据的安全和隐私。最后一个是大数据的生态问题。侯选项相互之间是有一定的重叠，而且颗粒度也不完全一致，完全是由专家自己提出来的，我们给他做了会聚，没有做一些很精细的加工。但基本上大家的投票结果来看，投票率还是非常高的，比如说数据的计算模式问题关注度非常高。投票的初始结果我们给出了大数据热点问题的八个方面。第一个方面是数据科学与大数据的学科边界问题，涉及到侯选项的两项，讲到了数据界、物理界与人的关联是什么，数据是不是客观存在的空间和现象。还有数据有没有独立的问题。大数据的基本学科边界有一个内涵和外延的限定，以及区别于其他数据的关键特征。最近有一本出版的数讲的是大数据不见得规模大，而是比较全。当然这是一种新的说法的。也就是说大数据的基本问题和边界是什么。这是我们关心的第一个大的方面。

第二个方面是数据计算的基本模式和范式问题，包括了数据密集型计算的基本范式是什么，以及数据计算的基本评估和数据计算的复杂性，以数据为中心去中心化的自主计算模式是不是数据计算的主要的模式。第三个热点问题是大数据的特性和数据态的问题。从数据的复杂性来讲，数据的关联模式、关系为复杂，数据的空间为复杂，包括数据在人机物三个空间里以及柔性密度的所产生的空间维度的复杂性，以及跟时间相关的特性。我们把它总结为大数据的基本特性和数据态的问题。

第四个热点问题是大数据的作用力与变化反应。包括了两个方面，第一个方面是如何将大数据变小，在尽量不损失价值的情况下减少数据的规模，像数据的清洗、去除等等，也是如何有效地处理大数据类似物理的作用把大数据的规模变小但不损失价值。第二个是化学作用，从一个平面的大数据提炼出高附加值的概念、知识和智慧。大数据的探索和可视性在这里面可以得到很大的发挥。计算方面我们通过群体指挥以及认知等方面发挥和提炼。

第五个问题是大数据的安全和隐私问题。投票是59票。