张颖:云计算打造的存储架构
比特网 12年09月25日 12:55 【转载】 作者:比特网 责任编辑:唐蓉
导读:2012年9月20日,由比特CIO俱乐部主办的“融信息精华 合数据力量——企业存储主题沙龙全国巡展”活动在杭州举办。来自浙江地区领军企业的CIO及信息化方面权威专家、IT管理人员等近80人,以及惠普公司存储顾问王宁、张颖老师到场参与了此次主题研讨。比特网在美丽的西子湖畔召开的本盛会,也成为云集浙江省信息化人群、探讨新时代企业信息化与存储转型之路的一次务实交流。
2012年9月20日,由比特CIO俱乐部主办的“融信息精华 合数据力量——企业存储主题沙龙全国巡展”活动在杭州举办。来自浙江地区领军企业的CIO及信息化方面权威专家、IT管理人员等近80人,以及惠普公司存储顾问王宁、张颖老师到场参与了此次主题研讨。比特网在美丽的西子湖畔召开的本盛会,也成为云集浙江省信息化人群、探讨新时代企业信息化与存储转型之路的一次务实交流。
惠普资深顾问张颖的演讲实录:
张颖:首先感谢大家来参加惠普这个会议,HP 3PAR是惠普在2010年收购的公司,当时在收购的时候花了很大的代价,和戴尔在抢这家公司,因为大家都看到了,这家公司在未来新一代计算架构下面的架式,虽然是存储公司,它的很多理念都是和我们新一代云计算、虚拟化都是紧密相关的,所以过会会看到很多这方面的内容,它是花了24亿的价钱把这家公司给买过来。买过来以后,到现在为止,HP 3PAR全球在惠普已经成为第一大存储产品线,在中国也差不多要接近第一大产品线,它整个增长会非常的迅猛,基本上都是达到了三位数的增长。
现在整个世界上IT格局已经发生变化,我们很多时候在讲的时候,谈这些技术都离不开几个话题,一是虚拟化,二是云计算,三是大数据。在这样的环境下,我们仍然像以前一样去买存储,考虑容量已经不行了。以前购买存储的时候,都是在考虑花多少钱买一个TB存储,后来发现越来越便宜,便宜下来有什么问题?一个G,一个盘都出来了,后来发现不能满足大家性能的需求,所以大家考虑容量的时候也考虑性能。现在考虑容量和性能都已经不够了,我们如果还是像以前这样,在买十年前二十年前的存储架构,已经不能满足虚拟化云计算时代对存储的需求。我有一个很好的客户,他买了很多我们的东西,我跟他讲HP 3PAR的时候,他说以前MSA用的很好,我也不想去做什么变化,他以前建系统,比如银行的业务里面,核心的银行业务是做一个系统,每一个信用卡一个系统,会有很多的存储,所以他对HP 3PAR没有什么兴趣,突然有一天跑过来找我,他说你来给我讲讲你的HP 3PAR,看看怎么来做这个事情,为什么会有这个变化?以前怎么讲都不接受,有一天就变了。
因为他在银行,一个主管他们业务的副行长,听所有的人都讲云计算,所以对业务部门也有要求,说我们这边的IT是不是也需要做云计算,是不是要做对IT潮流的跟进,这些都使得用户反过来考虑这些问题。的确云计算给我们用户会带来非常大的好处,在管理、部署上成本的节省。二是随需而动的变化,能应对各种各样的变化。三是应对整个数据大的高涨。为什么说以前的已经不能适应现在云计算的变化?现在你各种各样的东西都在上面,不像以前的银行业务,白天晚上是两个不同的系统,我的业务什么时候是高峰,什么时候是低谷,到底需要多少的计算能力,多少的带宽都是有规律可寻的,到现在云计算以后,没有规律可寻,至少大家很少看到它的规律。第二,我们对性能的要求非常高,可能会有各种各样不同的业务类型的数据和IO类型合在一起,所以很难做传统上的预测。
这是我们存储架构的发展变化,从以前的低端两个控制器,单个控制器,到后来现在比较普遍双控制器的架构,到高端多控制器的架构,这是整个发展变化。但是到现在,要考虑更多,这里有一些可用性的提升,性能的提升,到现在为止,发展有一个很大的变化,刚才王宁也说了,这项技术在未来的存储里面都会展现出它的优势,随着需要,我们可以从两个控制器不断往上加,加到四个六个八个,这个技术是未来发展的趋势,所以传统的技术不能适应现在变化的需求。
我们可以看看高端存储架构的变化,包括SB系列,IBM有它SIB系列,到现在为止,一直没有做称,在他的SIB上面有它的局限,它是一个网络的架构,但是到今天为止,他在上面会有很多限制,比如它没有分成的技术,它会有很多技术上的限制。包括SP,现在采用网状,从两个引擎扩到八个引擎。EMC当年也是看到HP 3PAR做了这个架构以后,复制了它的设计思路,他做了引擎,做了操作系统混在一起,有点像,但是在发展上还是有他的限制。
这是我们应用对灵活性提出的挑战,比如新一代变化,刚才我们也说到了,我们数据中心把很多的应用都整合在一起,用了很多虚拟化的技术。还有一些,不可预测的应用程序,它的流量IO的性能,这些所有的虚拟化、云计算带来对应用系统的变化,对存储提出了相应的要求,这时候存储需要有关键的技术应对它,传统的存储技术已经不能很好地去满足这些变化的需求,一个是虚拟化技术,刚才我们说了服务器上有很多虚拟化技术,但是存储上现在没有很好应对虚拟化,但是HP 3PAR上面很好地做了虚拟化和系统宽的条带化的变化。
第二,很多引擎一起来负担工作负载移动性。第三,对混合工作负载支持,对带宽要求非常高的应用,还有对事物处理。最后还有一个,怎么把整个存储系统联合成一个整体,作为一个整体来应对我们整个数据中心的变化,一台存储的性能不够,数据可以很自由的流到另一台存储,这也是我们HP 3PAR上面可以做到的关键技术。
下面仔细来讲一下为云计算打造的存储架构。第一,虚拟化的架构,HP 3PAR不像传统存储,五块五块盘,或者八块盘,它会把每块盘切成很小的片段,在每个片段看成一个小的,它就可以做到盘里去,它整个是在小盘的基础上做的,这使得我们有一个好处,应用IO下来,把这些IO全部分散到所有盘上。这个技术的最大意义在于,我们的盘是我们整个存储系统里面工作起来最慢的部分,磁带也是性能上发展最慢的,从很久很久以前的七千到一万五千,每块盘的性能也就提升了一倍机械转动性,也就是说IO每块盘也就提升了一倍。我们把所有盘一起工作起来,对我们整个存储性提升意义非常重大。
第二,实现了宽的条带化,把所有的数据打到所有的块状上。
第三,会有两到八个引擎可以扩展,对所有盘都是活动的,它的性能可以均匀分布,这时候可以应对更多的IO流量。
第四,混合工作负载优化,借助第4代ASTC分开控制和数据路径。
这是第三方专门测存储性能的,现在惠普的HP 3PAR是当前性能最高的存储,它整个模拟环境是模拟整个工作的环境,会有很多工作的产品放在这里,模拟完了以后,会得出一个一个IOPS值,很多时候,在宣传的时候,还有另外一个IOPS值,它是直到端口的,很多时候看起来很高。这是根据业务来测的IOPS,对我们业务有参考的。这值这么高有什么意义?可以保证虚拟机的密度,可以增加一倍。我们有一个给用户承诺的计划,我包括你在用了HP 3PAR以后,可以把你的虚拟机提高一倍,这里有三个案例,一个是北美的运营商,专门做云计算的提供商。第二,是新加坡的IT公司。第三,是做金融服务的一家机构,他们都有一个网上,在公开的网站上可以看到,这里没有写。前段时间我在江苏移动做一个项目,他们测试要做到三千个用户,用了HP 3PAR以后,整个支撑三千个桌面没有问题,从一千个上升到三千个。
还有一点,在传统存储上有很多浪费,很多时候他说我需要10个G,这10个G可能需要半年的时间,一年的时间可能要到15个GB的增长,其实我们到最终去看的时候有很多浪费的空间,这个浪费的空间,很多是存储基础架构看不到的。惠普有一个工具,是专门给用户来做这种检测,我在两个用户跑的工具,第一个是江苏移动,第二是安徽移动,他跑完以后,江苏移动在看我们虚拟机上节省功率,可以节省到54%,安徽移动实际拿HP 3PAR上去测,迅雷、土豆、优库视频会放在上面,从原来的迁到现在的HP 3PAR上面,节省了47%,不到50%,基本上很接近50%,这是用户当时不可想象的,他为什么这么认为?他认为视频的这种东西,对整个空间的节省肯定是达不到的,一做下来以后竟然节省了47%,远远超过了他们的想象。大家都觉得存储会不够用,多申请一点,最后造成会有很大的浪费,今天HP 3PAR上面有一个很好的叫经简存储配置,会节省很多空间,我们可以保证你可以节省50%。
现在很多厂商也会提到精简技术,我们的精简技术跟他们不一样,我们写入专用的16K非预留配置,第二,基于任何阵列的内嵌式零检测精简转变,可以包括50%,第三,利用应用集成可持续回收16K,为什么能够16K,第四,我们可以保持持续的精简,比如你删掉的一些文件可以回收回来,这在其他厂商是做不到的。除了我们做精简以后,还有一个自动分成的技术,我们可以把热点IO数据放到SSA底盘,使得我们各种盘能够物尽其用,而且这是完全自动来做的。业绩还有另外一种解释,也是首先利用SSA底盘,把所有的数据都缓存到SSA底盘去,一段时间不用就把它从缓存用去掉,这是最基础的用SSa底盘,没有做任何的统计和分析,是比较暴力的使用这种方法,我们通过一段时间分析,哪些数据是热点,哪些数据不是热点,这样用起来的效果会更好。
为什么说精简技术非常重要?我们刚才说的,一个我们可以少买一点存储和容量,这是表面比较基本的东西,在后台有一个网站,专门对存储进行分析,它对刚才我说的北美那家运营商做了分析,原来需要572G的容量,现在只要105G的容量,他带来了机房空间的节省,带来能源的节省,还包括存储空间的节省,四年1800万,大家觉得这是美国的一个数据,他们的电比中国贵,我告诉大家,美国的油比中国还要便宜,他的电费比中国也要便宜,我看过他整个计算过程,大家如果有兴趣可以到这个网站上去看,他的电费大概是四毛钱一度,中国家里用电都要六毛钱一度,商业用电肯定超过,大家在自己的环境下,整个存储,包括整个系统对电费的需求,这个变化将会是非常惊人的。
我们在云计算时代还有一项重要的想法,为什么我们叫云计算?我们希望用IT系统的时候,像用电自来水一样,一开电闸就能用,这是云计算给大家带来最好的想象。还有运营费用等等方面带来的一些好处,这里关键技术,一个是怎么做到自动化的管理,比如一开开关就能像水电一样提供,怎么样迅速配置和重新配置,IT系统有很多的变化,会对IT技术有不同的要求,怎么样使我们存储,包括整个IT系统适应这种变化,还有我们怎么样做到我们的安全,因为IT是关键的数据,怎么样做到安全,怎么来提供这种服务交互的控制,能够提供IOS的控制,都是云计算对我们存储带来的要求。
HP在3PAR的存储,我们存储管理员只要建立策略,我们根据这些不同的策略建立一个模板,会变成一个目录交给前台的服务器,服务器的管理员不要再去跟存储管理员商讨存储到底怎么样,他只要在这个目录里面选他所需要的存储,不需要批准,不需要跟存储管理员打交道,会非常简单的来自动部署到我们HP 3PAR的存储上去。这带来了一个最大的好处,以前可能要几小时甚至数天才能做完的事情,现在只要几分钟就能做完,整个过程非常简单,应用上面选择应用,到资源的分配,到门户上选择一个应用模板,后面整个过程都是自动在做,包括刚才说的存储部署,都是一次性全部自动做完。
在我们核心存储来说,特别在云计算上跑了很多应用上,我们的用户会关注几个点:第一,成本,刚才我们说了有50%精简的保障。第二,可以使虚拟密度增加一倍的保证,在这两个保证下,我们会使整个运营成本降低50% 。还有一个自动分成技术,给用户带来一个好处,使得我们更小的盘,更少的投入就能达到整个应用系统IO性能的要求。
第二,存储管理负担可以减轻10倍,就是降低90%,我们刚才说的15秒就可以生成一个,可以交给前台自动完成这个事情,包括整个性能,刚才说了是全球最高性能,包括传统存储有一个很大的问题,一个控制器坏掉了,另外一个控制器它是不起作用的,这时候性能不是下降一半,是下降90%,所有的数据都会到盘上,为了防止数据不丢失,高速盘就不启动了。
在HP 3PAR上配了四个控制器,一个控制器挂掉,还有3/4的性能,所以整个性能的下降,一般觉察不出来。还有一个弹性而变,我们可以随需而变,原来的性能不变了,需要到其他地方去,只要点一下鼠标在线就可以帮你做变化,比如我容量不够用了,性能上还行,可以重新变会去。以前做这个的时候会非常复杂,要做一个非常完整的计划,要消费一周的时间才能做,在HP 3PAR上,一个人点鼠标就可以,整个存储效率可以提高百分之百,虚拟可以提升一倍的部署。还有轻松应对各种变化,可以在线来变化,用户想怎么样,我们随时提供用户的这种变化。
HP 3PAR的存储在企业存储领域始终保持领先,刚才说的性能保持第一就不多说了,这是业内很多人叫的Gartner镶嵌,这个镶嵌是一个领导者,在领导者里面,整个存储先进性的体验。另外一个方面,执行力,在整个技术先进性方面是最领先的,除了两家在执行力方面会强,因为他们两家是专业只做存储的公司,他在整个存储力方面会比较强。包括HP 3PAR也获得了中央政府采购的许可,这是经过非常复杂的验证,经过很多专家组讨论才进入的。
这些都是在背后的技术,更细节是它的自主管理,自动化管理的软件,由我们HP 3PAR领先的(英文),很多技术都是HP 3PAR领先的技术,在背后给客户带来50%容量的节省,还有密度可以增加一倍,可以减少90%的管理时间,这些才是真正对用户有意义的事情。
定位我也不多讲,HP 3PAR在很多定位上,特别在多出户的虚拟环境下面,绝对HP 3PAR是一个首选的技术,但是,在其他的环境下,不是说HP 3PAR在这些关键业务环境里不能做,它也做的非常好,安全性、高端性能方面也非常领先,最领先的是在云计算中。HP 3PAR现在主要有两个产品,一个高端的叫V系列的产品,另外一个在技术方面,所有的这些软件技术都有的F系列上面,这两个系列有一个好处,很多传统存储,SP系列只能跟SP系列,高端只能跟高端,而我们HP 3PAR则不是这样。
HP 3PAR现在还有一个3CV的解决方案,这也是针对云计算专门推出的,跟刚才说的有点像,它把HP 3PAR最好的综合在一起,一个是HP 3PAR云计算里面最领先的技术,还有一个Blade,还有VMware。我们有几个全球唯一的技术,一是硬件芯片级的管理技术,还有芯片级的零检测技术,有最小纳米级的空间回收技术,通过专门ASIC芯片进行数据处理,这些都是存储在整个生态里面云计算带给他们的好处。
这里跟大家分享一个案例,这是一个制造业用户的案例,他们原来都是用的IBM的系统,它的服务器是用P590,下面挂的存储,后面慢慢运行一段时间以后发现了一些问题,第一个问题,存储容量不太够用,要扩容,扩容到2.4倍,原来的不够,可能要买第二台,(英文)也不足,那时候发生了一个事故,一个存储控制器坏掉了,整个系统性能下降10倍,整个系统基本上处于不太可用的状态,这个时候,惠普的销售就跑过去了,拿了一台HP 3PAR去测试,测试了以后发现一个现象,整个IO事故处理,性能是原来的2.7倍,吞吐量是原来的0.9倍,整个性能是非常可观的。
第二,控制下这么一个架构下,我换掉一个控制器不会出现这样,基本上觉察不出,一个控制器关掉以后还有三个控制系统,觉察不到这种变化。第三,我们的精简技术,可以使他们节省57%,最多的一部分来自源于平台,除了P5.9,还有机器,这个机器节省非常多。整个技术给用户带来的好处是,使它的密度部署提升非常多。
第二,这些算完以后可以给用户省50万美金。我们具有经典技术,在带宽上可以省下20万的价钱,这种带宽的节约对他们很重要,整个管理上的负担减轻,这是他们最感兴趣的,很多人要去管应用又要管其他的,实在没有太多时间做,HP 3PAR在测试的时候,跟着学了大概三个小时左右,基本操作都会用了,不像传统存储,一定要有专业的人员来帮你做这个事情。
他们后来测试了HP 3PAR以后,还用了虚拟带库的技术,使得效率提升了三倍,整个包括HP 3PAR,对用户来说都是非常有价值的,整个测完之后,就决定买HP 3PAR,因为整个测试的效果非常好。前一段时间我在上海银行做了一个存储性能设施,当时拿过去有HP 3PAR的存储,整个测完以后,我们的性能是他们的四倍,用户在这些测试的基础上,他们会非常容易来接受HP 3PAR。
HP 3PAR虚拟化、云计算这些环境下,都是我们非常好的一个应用案例,除了这些以外,在数据库的应用上,其实HP 3PAR跟有过很多的测试,包括现在还可以在网站上找到很多技术报告,技术报告有两个,一个用了精简技术,还有一个不用精简技术,整个SO性能没有降低,这是网站上可以找到的报告,如果大家有兴趣回头可以发给大家。还有一个技术,很多工程师会建议大家,尽量去用。HP 3PAR的性能可以跟我们传统的性能相当,这个是在网站上找到的,HP 3PAR跟配合也是非常好的选择。还有包括我们的电子邮件,电子邮件确实是非常普遍的平台,它会成为一个比较普遍的平台。微软网站上专门有一个测试。我们HP 3PAR在很多场合下都是非常好的存储选择,如果大家用虚拟化的技术,用云计算一定要考虑HP 3PAR。
刚开始的时候我说过,HP 3PAR整个在中国的增长非常迅猛,呈三位数的增长,现在在所有主要的客户里面都有它的用户群,包括运营商,包括政府,社会服务的地方,包括金融企业,包括制造业,零售业等等所有这些,都会有很多HP 3PAR的用户。