云计算：大数据时代的系统工程
DOIT云计算 12年12月25日 13:15 【转载】 作者：中国产业经济信息网 责任编辑：周茂盛
2000年，互联网经济处于第一波热潮中。这时全球互联网用户人数已经从1995年的几千万增至数亿，并仍在不断快速增长。快速增长的用户数量，使 许多网站感受到了系统支撑的压力。雅虎也一样。当时雅虎经常面临的一个问题是，一个频道设计完成之后，在上线之前测试可支撑一定数量的用户比如10万人， 但第二天一上线就出现达到指标的情况。怎么办?只有增加设备，尽可能提高系统对服务的支撑能力，因此即刻购买设备然后连夜组装机器的情形并不少见。到 Fry''s选买配件是不少工程师的工作内容之一，当然也是乐趣之一。雅虎的共同创始人之一大卫·菲洛David Filo至今还喜欢组装机器，不知道是不是一种习惯使然。
为了支撑业务运转，满足用户需求，服务器的整体性能在不断上升，相应地，服务器的数量也在不断增加。这很自然会引出一个问题，数十台机器可以手动组 装维护，上千台机器如何处理?甚至，如果机器数上万呢?人能管理的机器数量始终有限，即使劳作不休，所能承受的负荷也有一定的极限。每一个大型互联网公 司，都曾遇到过这个问题：如何管理和维护成千上万台服务器?
很多事情在讲述的时候似乎很有意思，但当时经历的时候会让人觉得绝望。“大系统”的压力对于系统维护工程师而言，就是这样的事情。2000年初，笔 者注：此处指姚宏宇博士。当时在雅虎公司编程之外做的最多的两件事，现在听起来或许还有些“土”：一件是组装机器，一件是维护机器，而这只是为了保证在足 够多且可靠的硬件支撑下，业务系统能够有效应对不断快速增长的用户需求。在当时，笔者加班到晚上十点钟左右是常有的事，然后还要从加利福尼亚州的桑尼维尔 Sunnyvale开车回家，再和朋友一起找地方吃饭。由于住的地方位于南圣何塞South San Jose，附近是越南人聚集地，太晚的时间只有越南米粉Pho可以吃，于是以越南米粉果腹的时间持续有半年之久，以致现在对“牛肉粉Beef Pho”产生排斥感。吃完饭之后回去还要继续工作，凌晨两、三点才能睡觉。美股的开盘时间是东部时间9:30~16:00，这意味着在此之前必须保证交易 网站服务的正常运行，所以必须每天早上6点准时起床，来检查系统的运行状态。很多人每天都会收到大量邮件，但早上刚起床就看到上万 邮件和几百条呼叫Pager信息，并且全部来自机器的情况并非人人都有体会，虽然是专职于此的技术人员，这种极大的压力状况还是很容易让人产生无力感，持 续下去会有崩溃的感觉。怎么办?只有把雅虎财经频道大部分的底层代码进行重写，找回些生活。
现在看来，大量用户带来的大流量的压力，以及大系统的问题不仅对于每一个互联网公司来说仍然普遍存在，而且已经开始越来越多的出现在其他传统企业 中。谷歌在1998年时的访问量约为每天1万次，但到2007年时，日访问量已达到5亿多次，机器数量也已经超过50万台。对于大多数互联网企业而言，虽 然服务器规模不至于如此庞大，但随着用户规模的增加，少则数百台，多则上千台的服务器仍然对企业的运维管理能力提出了挑战。
对于企业来说，随着系统越来越大，维护人员却不能对应成比例增长——企业要考虑人力成本，还要顾及运维效率的问题——即便如此，雅虎在某一阶段有过 半的成本都耗在旧有设备和系统的维护上，而无法把大部分资金投入到新业务的开发中。公司能创造新价值的部分越来越少，创新也越来越少，只能求变。
除了大规模系统的维护之外，海量数据的存储问题同样是互联网公司头疼的问题所在，随着网络技术和服务的快速发展，用户平均在线时间的延长和用户网络 行为的多样化，导致各类数据在不断涌现，移动终端的出现更是扩充了网络服务的内容与范围，这些都大大增加了互联网公司需要承载的数据量。大量的用户数据对 每一个公司而言都是宝贵的信息财富，但是如果只是购买邮箱存储设备一年就要花费几亿美金的话，每个CEO都会再权衡一下，于是雅虎后来有了Hadoop的 研发。
因此，在流量和服务器数量都高速增长的情况下，“一个能够与网页增长速度保持同步的系统”[3]必不可少，这也是谷歌三篇有关分布式的论文*注：这三篇论文分别是有关GFSGoogle File System分布式存储系统、MapReduce分布式处理技术和BigTable分布式数据库的论文，下文也有所提及。之所以具有重要指导意义的原因 ——一切均出自实践。
随着信息经济的发展，许多传统企业现在也在加速向互联网化转型。最初存在于互联网企业的压力也出现于其他组织机构中，对大数据的管理和处理需求也在 这些组织中产生。比如一个政府部门，如果考虑到信息中心和各垂直部门的信息资源，可能会有数千台服务器和数百套业务系统需要整合和管理，而且多数分布于不 同的地理位置。如何对这些资源进行集中统一管理?
或许，这些组织也可以考虑选择云计算。
腾讯微博
新浪微博
