从数据到大数据时代

从《当我们变成一堆数字》谈到《大数据时代》(2)

DOIT云计算 13年04月08日 11:28 【转载】作者：中云网责任编辑：王雪杨

导读：最近IT界把“大数据”从一个普通名词变成了专有名词。但是一般人却分不清“把我们变成一堆数字”和“大数据”之间的关系与差异。所以这篇文章借用这两本书来介绍这两个概念。

由于“大数据”产业的兴起，对于数据库管理有了六个创新的方向：

1、数据的再利用

过去我们搜集到一组市场占有率的排行数据后，一但报告发表了，这组数据就丢弃不用了;一个订单处理完了，这组数据也就丢弃不用了;我们搜索到一个词或答案后，这个数据的处理也就终止了。其实这些数据暗藏了用户的喜好，以及现在流行的趋势。懂得利用这些数据宝库的企业就会脱颖而出，掌握无限商机。

最近移动运营商和微信展开“商业角力”，在技术层面也和数据的再利用有间接关系。

普通一个城市通常需要上百个基站来分布完成无线覆盖。至于大城市就可能需要近千个基站服务区来覆盖。那么一个手机是如何“被叫”的?总不能一个朋友给你打电话，移动运营商就在全国每个城市的每个服务区寻找你吧?还有若你出国度假了，那系统是怎么找到你的?答案很简单，每当你开车从一个服务区进入一个新的服务区，或是你下飞机一打开手机电源，手机就会透过信令信道发送一个“我在这里”的信号给基站。所以有电话要找你的时候，系统会优先在这个服务区呼叫你。

微信给运营商产生的困扰是它让手机也透过信令信道频繁的发出“我在这里”的信息，它占了“有限、宝贵”信令信道60%的资源，却给运营商的流量收入贡献不到10%。所以现在运营商要求微信向他们付资源占用费。

我们先不管“微信事件”，大家想想上面的技术解释有什么商机?那就是运营商完全掌握用户“在哪里”的数据呀!我们怎么利用呢?

大家现在在手机上查看地图时，往往也会显示出各个道路的交通畅通与否的情况?谷歌地图是如何做到的?就是利用手机“我在这里”的数据转换成密集度来决定车流量的!

同样的，由于我们知道用户在哪里，我们就能针对不同的用户推送不同的促销广告。这些都是“大数据时代”对数据的再利用。

2、重组数据

在“数据坟墓”中我们还可以挖出历史数据研究它们的相关性。书中提到丹麦研究了“使用手机”和“得脑癌”是没有相关性的。但是往往这类正式又严谨的“正面”报告得不到媒体的注意。反而任何一个江湖术士做了一个不严谨实验而宣告使用手机会导致脑癌，马上就会有媒体报道，然后很多“家庭自修成才”的科学家就在邮件或微博上疯传。

同样的美国也有类似的报告。在1988年几乎没有手机，在2008年3亿人口里面有2.5亿手机。根据“美国癌症协会”的正式统计，各个族裔在1988年时每100万人里不超过8人得脑癌。那么2008年呢?每百万人还是不超过8人，甚至好像还有一点儿下降。这又表明了使用手机和是否致癌是两个不相关事件。但是每隔一阵既有江湖术士声明他又证明了使用和手机会致癌。

这类大数据的重组开发，一定能帮助我们正确的面对很多无稽之谈。

3、可扩展的数据库利用

大家都听说过谷歌地图的街景，它让我们不只看到传统地图，还可以看到具体的街景和附件建筑物的长相。(在港台街道上你能经常看到有谷歌标识的小车，车顶架着摄像机沿街一路拍摄。)但是谷歌获取了这些“数据”后绝对不止于展示给网民街景，这些数据还为谷歌下一步的无人驾驶汽车的推出打好了坚实的基础。

4、数据的折旧值

数据并不是保留越久越好，比如我们看书的兴趣会变，所以亚马逊不能依据我们十年前的购买记录来推荐我们可能感兴趣。但是他们也不能简单靠着数据年龄来取舍数据，所以决定什么数据需要“折旧”也变成了一个商机。

5、数据废气

我们在搜索时，不小心输入了一个错误的关键词，也许搜索网站简单回复你：找不到相关资料。但是谷歌却建立了自动反馈机制，它会在网页上端出现：你是不是要搜索XXXX?经过这个反馈，谷歌不但提供了用户方便，而且还可持续不断改进它“校正拼写”软件的准确率。

同样的，聪明的网站会搜集用户浏览时，鼠标停留在哪的时间较长?最频繁点击哪个图标?假若对搜索的结果，用户通常都不会点击第8个建议结果，是否网站下次碰到类似的搜索就应把第8条从建议答案中剔除?这些都是在完善大数据管理和应用时呈现给软件开发者和网络企业家的新挑战和新商机。

以往设计网游的大师坐在多个屏幕之间设计游戏，用自己的艺术直觉决定如何改进并推出升级产品。有些时候也会加入一些有限用户群的反馈。但是在新一代的游戏中，软件设计师会植入很多监测点，搜集到：用户什么时候会容易放弃而且不再玩这款游戏了?在哪一关卡会给用户挫折感而总是升不了级?有了这些“废气”反馈机制，就能大大提高游戏受欢迎度。

6、开放数据

FlyOnTime.us这个网站搜集了很多美国航空史上的“正点率”数据和当时的气象数据。它发现飞机因为大雾而误点的时间是风雪而延误时间的两倍。同时它用这两组数据帮助乘客预测今天航班延误的可能性。上述两组数据都不是该公司自有的，而是两个官方机构所保存的。将来我们一定还会想到很多类似官方数据库的有效利用，但这很大程度上取决于政府愿意开放多少数据给大众。

综合上面所说的各种应用和未来的创新，可以看出大数据产业包括了三类型的机构：

1、数据搜集者也是拥有者

2、技术分析者

3、数据使用者

在目前发展阶段是使用者获利最多。比如一个普通合格的妇产科医生，她不必是一位名医，也不必是一个产前保健专家。只要她能随手取得“大数据”，照样可以为孕妇提供最佳的生产和医疗方案。

书中还用电影《点球成金》(Money Ball)解释了利用“大数据”的实例。这是美国职业棒球界的一个真事故事。由于大陆朋友不太热衷棒球运动，所以这部电影没在大陆卖座，但是在台湾却是大家非常喜欢的一部电影。

电影描述奥克兰运动家队由于对球员薪资的总预算很低，所以雇不起大牌明星球员，未来的赛季前途渺茫。球队经理暗下决心改造球队。他不靠球队智囊团的直觉和球员的身价来挑选优秀的球员，而是在球员过去上场表现的大量数据中挖掘“高上垒率”的潜在明星，并通过软磨硬泡将他们招致麾下。这个新阵容的球队在各方压力和冷嘲热讽下渐渐打出较好的成绩。终于在那个赛季从敬陪末座打到MLB的西部冠军。从此以后很多球队也都开始用这种“大数据”的方法决定招揽哪位球员加盟，很多队伍也因此获得总决赛的冠军。

这是一个活生生“大数据使用者”获得成功的例子。不过当大众越来越理解“大数据”的重要性时，最终应该是拥有数据的企业才会是最值钱的企业。

也希望大家从这两本书中得到启发，打造一个既有益社会又能获利甚丰的企业。

本文导航

第1页：从《当我们变成一堆数字》谈到《大数据时代》
第2页：从《当我们变成一堆数字》谈到《大数据时代》(2)