大数据管理：PB、EB级数据存储和分析
TT中国 12年06月27日 10:14 【转载】 作者：TT存储 责任编辑：王振
区别大数据分析和传统的数据仓库的不同
大数据分析中包含了各种快速成长中的技术。因此，简单用某一种技术尝试对其定义，比如分布式计算，会比较困难。不过，这些定义大数据分析的通用性技术可以用如下特征阐述：
对于传统数据仓库处理流程效率和扩展性方面限制的感知。将数据，不论是结构化还是非结构化数据从多个数据源汇聚的能力。以及认识到数据的及时性是扩展非结构化数据源的关键，其中包括移动设备，RFID，网络和不断增长的自动化感知技术。
传统的数据仓库系统通常从现有的关系型数据库中抓取数据。然而，据估计超过80%的企业数据是非结构化的，即无法关系型数据库管理系统 (RDBMS)，比如DB2和Oracle完成的数据。一般而言，处于此次讨论的目的，非结构化数据可以看成所有无法简单转化到结构化关系型数据库中的所 有数据。而企业现在希望从这些非结构化数据类型中抽取有价值的信息，包括：
邮件和其它形式的电子通讯记录
网站上的资料，包括点击量和社交媒体相关的内容
数字视频和音频
设备产生的数据(RFID，GPS，传感器产生的数据，日志文件等)以及物联网
在大数据分析的情况下，查看远多于RDBMS的数据类型十分必要——这代表了各种重要的新信息源。并且随着每年非结构化数据存储总量较结构化数据增长率高出10到50倍，从业务角度看这些数据也变得更为重要。
为什么需要更新的技术?
从大数据分析角度看，业务主管的挑战在于从各种数据源获取信息，并执行分析流程以打开信息的价值。传统数据仓库技术并不是设计在很短的时间内(5秒钟甚至更少)用于处理海量的非结构化数据，因此市场上产生了管理大数据的需求。
进入分布式计算集群。分布式计算集群的观念出现了数十年，不过绝大部分时间都处在IT的边缘化地带。在2004年，Google出版了一张名为 MapReduce的流程，应用了这一结构。在MapReduce流程中，查询被分割并分布在并行结点上同时处理(Map步骤)。其结果在随后被收集并传 输(Reduce步骤)。由于Google如此之成功，很多人想要复制这一方法。MapReduce源自一个Google拥有的开源Apache框架，称为分布式计算(Hadoop)。
腾讯微博
新浪微博
