大数据的障碍:数据质量和旧观念成见
TT中国 12年06月11日 16:56 【转载】 作者:TechTarget中国 责任编辑:王振
导读:利用大数据和分析法将会对企业未来业绩产生重大影响,重整整个行业并孕育新的产业。然而,还面临着很多挑战。它们从众所周知的缺乏数据科学人员来处理大数据,到更加棘手且很少提及的根源于人性的问题。
在科学研究中,理解每一个变量的所有情况是不可能的,所以“迭代很重要”James Noga说。他是波士顿的医疗保健非营利性组织Partners HealthCare System的CIO. 他说,那些擅长大数据处理的人必须能够挑选出有代表性的关键点,并且“在当时作出最好的推测”.
不管怎样这一点可以被推而广之,不仅是在关注数据质量的公司,而且那些习惯于结构化IT流程的IT公司中也可以推广。
消除旧观念和成见不易
专家组成员说,那些拥有模式识别技能、好奇心,并理解实验价值的人是有效使用大数据和分析法的关键。然而,CEB的Shah发现,使科学方法成为公 司文化的一部分极其困难。“你可以让所有聪明的数据分析专家聚集在企业核心,做出很多聪明的决定。但是如果做不到这样的话,客服代表、经理们以及其它外围 人员做出的决定就更加重要。”因为大多数公司没办法雇佣足够的数据科学人员去研究大数据,另一个挑战是寻找培训人才。
CEB发现很少公司能够使用大数据和分析法法去驱动业务决策。最新对近500家企业的研究发现,20%的调查对象使用直觉做决定;49%想要更多数 据,另有38%被CEB称为“知情的怀疑论者”,也就是那些可以进行模糊数据,并推动业务向前发展。不仅如此,Shah说,人们倾向于坚持成见,“技术数 据显示的恰恰相反”.“消除成见非常困难。”
聚积数据是另一个开发大数据的障碍。麦肯锡研究的一个发现是金融服务(其收集和分析数据的历史悠久)在使用大数据上滞后。Chui说:“我们发现很多西方银行的业务竖井的界限已经变得如此之大,以至于分享数据的想法非常,非常之弱。”