数据的宣言:大数据是一场大变革
DOIT云计算 12年05月03日 09:18 【转载】 作者:企业网D1Net 责任编辑:王振
大数据专家和开发商:他们可以和平相处吗?
我们并不需要问这种“To be Or Not to be”的问题。正如开发人员和数据库专家将被继续鼓励开发软件和对软件生产与消费的数据进行专门的采集与分析一样,这两者是相辅相成的。
但我认为,开发能力强的人才的确是一项宝贵的资产。因为大多数高技术专业都会对本专业人才进行自我筛选。而且,我一直把它当做了一个趋势,观察整个行业的发展。在该行业中,很少有人逆势而行,因此对人才的需求是很大的。
联邦政府和大数据?
最近,宣布将在大数据方面投资2亿美元的美国联邦政府收到大量的保证金,它虽然具有一定的象征意义,但我觉得它也有缺陷。在大数据领域,2亿美元的 投资实际上还是很少的,尤其是当众多的联邦机构存在分歧的时候。但是,当政府谈到其工作中大数据治理及大数据对社会的重要性时,它会告诉你大数据技术的力 量和影响。美国联邦政府收集大量的数据,奥巴马政府也承认大数据有很大的潜在价值。
大数据和BI(商业智能)之间是相互独立的,也是相互联系的让我们再次回到本文开头,大数据是不是BI的下一代呢?大数据是它自己的子类,并且可能 会一直如此。但它却和BI、数据仓库之类是相同的产业链的一部分,而这些类别存在的时间比他们原本应该存在的时间要短,这是由于它们分属于完全不同的领 域。
因为大数据和BI是数据库管理员、BI模型师和数据挖掘专家研究了超过十年的东西。而有些人对这两个方面都有研究,有些则只专攻一个方面。它们不是 相互排斥的,也不是一方面是另一方面的新表现。所以,BI会与大数据相结合,数据专业技术、产品和结构,与其他以数据为重点的高新技术专业有着密切的联 系。这种关系贯穿于整个高科技产业和计算机科学,而且它们各自的特色仍然是合法的、有益的和真实的。
大数据留给了我们什么?
在辩论中,我们讨论了一些情况,如大数据将会冲击哪些已建立的数据库、数据仓库、BI和分析技术?大数据市场的确很广阔,这可能使大数据的进步更加迅速,但如果继续使用已有的工具,我们怎么才能把“数据”变成“大数据”呢?
然而,大数据革命并不是通过这些已有的工具实现的,它的发生是远离这些工具。我们采集了大量的数据,这些数据的大部分都是非结构化的。我们还使用廉 价的服务器和磁盘,然后把筛选过的数据放置到传统系统中。由于存储太昂贵,处理速度太慢,宽带太稀少,我们重新使用那些被丢掉过的数据。现在,我们正在以 熟悉的方式来处理这些数据。这是史无前例的,同时也是直观的。