基于重复数据删除的虚拟桌面存储优化技术

DOIT云计算 12年06月08日 11:00 【转载】作者：It商业新闻网责任编辑：周晓丽

导读：近年来，云计算已成为分布式计算领域中的研究热点，它是指运行在数据中心软硬件上的应用通过Internet为用户按需提供服务；并将数据中心内的软硬件资源统称为云，云计算自身并不是一种新技术，而是一种新服务模式。

2 虚拟桌面存储优化技术

为了节省硬件的采购成本和经常性的管理开销，虚拟化技术被广泛应用于企业数据中心的服务器资源管理，使得每台物理服务器能够整合几十或上百台虚拟机，从而提高IT资源的利用率。这使得每台服务器需要管理大量的虚拟磁盘镜像，而服务器的本地磁盘不足以提供如此大的存储容量，需要将这些磁盘镜像存放到一个集中的大容量存储池，并由多台服务器所共享。当服务器需要启动某个虚拟机时，需要从存储池将虚拟磁盘镜像读到服务器的本地磁盘来运行。利用虚拟磁盘镜像之间数据高度冗余的特性，我们应用重复数据删除技术来缩减虚拟磁盘镜像的存储空间需求，同时减少服务器与存储池之间的I/O操作以提高虚拟机启动性能。如图2所示，基于重复数据删除技术的虚拟桌面基础架构其I/O由4层构成，包括最上层是虚拟机监控器(也叫Hypervisar)实现的I/O虚拟层、重复数据删除引擎构成的重复数据删除层、服务器本地磁盘实现的本地磁盘缓存层以及共享存储池充当的主存储层。

图2基于重复数据删除技术的虚拟桌面架构

虚拟机监控器Hypervisor是位于硬件资源和操作系统之间的系统软件层，允许多个操作系统和应用共享底层的硬件，使得同一物理服务器上能够虚拟出多个虚拟桌面，Hypervisor不但协调着这些硬件资源的访问，也同时通过资源隔离在各个虚拟机之间施加防护，目前市场主流的Hypervisor有VMware的ESX Server、微软的Hype—V以及Citrix的Xen Server等。

重复数据删除引擎包括数据分块、指纹计算、索引查询/更新以及数据存储4个模块，由于块级的重复数据删除技术能够很好地兼顾存储空间利用率和系统开销，本文采用块级消重来优化虚拟机磁盘镜像存储;并将重复数据删除引擎设计为Hypervisor下的一个模块，使得上层的数据I/O请求都必须经过重复数据删除层过滤，避免重复数据块的写操作，以及重复数据块从共享存储池到服务器的读人操作，通过支持多个虚拟机磁盘镜像进行在线重复数据删除，以优化存储利用率和虚拟机启动性能，在多服务器环境下，还可以通过支持全局的数据块指纹索引进行全局重复数据删除来迸一步提高数据缩减率。

虚拟桌面基础架构在启动虚拟机时，需要从共享存储池将虚拟磁盘镜像读人到服务器，而不是从本地磁盘读取，往往因为受网络带宽或者存储池I/0性能的影响，使得其启动性能低，利用数据访问的局部性原理，类似于Parallax系统，我们允许虚拟机将数据写到在服务器本地磁盘缓存上，而不需要与共享存储池交互，直到本地磁盘缓存填满才将一部分数据写到存储池，利用重复数据删除层带来的优势，服务器本地磁盘能够存放更多的虚拟机数据。这样，可以降低重复数据删除技术对虚拟机I/O性能的影响，极大地提高虚拟机的启动速度。

重复数据删除技术能够消除虚拟机磁盘镜像存储中的大量冗余，提高存储空间的利用率，但也使得虚拟机磁盘镜像文件在存储池内的存放变得不连续，从而严重影响其读性能，基于闪存的固态硬盘，相比于传统的硬盘具有很好的随机读性能以及能耗优势，使得固态硬盘被一些重复数据删除系统所采用以优化其吞吐量，另外，相似虚拟磁盘镜像之间具有大量相同内容的数据块，使得重复数据删除后，这些数据块的重复引用次数较其他数据块更高，利用固态硬盘较传统硬盘在随机读性能上的明显优势，我们在存储池中采用基于闪存的固态硬盘来存储重复引用次数较高的数据块以优化其读性能。

3实验结果与分析

我们通过2000多行C++代码实现了重复数据删除引擎模块，并基于真实的虚拟机磁盘镜像来测试重复数据删除技术对基于VMware虚拟桌面原型系统下的存储系统容量和性能的影响，在本文的实验环境中，我们以一台单机作为服务器，其配置为2.53 GHz Intel Core 2 Duo处理器，4GB内存容量，250GB SATA硬盘;并通过千兆以太网连接个由2块硬盘(Western Digital 160 GB WD1600AAJS SATA)、1块固态硬盘(Kingston 64GB SSDNovgV100 Series 2.5”SATA II)构成的RAIDo磁盘阵列系统作为存储池，基于4种不同的操作系统虚拟机磁盘镜像，采用了3种不同的重复数据删除技术分别进行测试。

通过对Windows XP，Ubuntu，Fedora和Centos等4种不同操作系统的虚拟机镜像分别进行全文件分块(WFC)、静态分块(SC)以及基于内容分块(CDC)3种重复数据删除技术测试;并为块级重复数据删除技术选取8 KB的平均分块大小，对于变长分块的CDC策略，我们采用TTTD算法，并且将分块的大整除因子作为平均分块大小，小整除因子设为平均分块大小的一半，上界规定为平均块大小的两倍，下界为平均块大小的1/4，如图3所示，Base为消重前原始文件大小，WFC，SC和CDC分别代表3种重复数据删除策略，从实验结果中我们发现不同操作系统的虚拟磁盘镜像自身的冗余度有差别;Windows XP的冗余度最高，而Centos的冗余度最低，不同的重复数据技术对虚拟机磁盘镜像的消重效果差别较大;基于静态分块的重复数据删除机制较其他两种都具有更高的数据缩减率，基于全文件分块的重复数据删除技术消重效果最差，仅有极其微小的数据缩减量，通过分析这4种不同虚拟磁盘镜像的重复引用计数与相应分类中的数据容量关系，如图4所示，我们发现虚拟机镜像内部数据块的重复引用数与相应的数据容量按对数成反比例。

图3单个虚拟磁盘镜像的消重效果比较

图4重复引用次数与数据存量的关系