云存储：海量数据上传云中并非易事

DOIT云计算 12年05月22日 13:21 【编译】译者：wangfei 责任编辑：王振

导读：谷歌和微软没有提供正式数据提取服务来帮助用户将大量数据放到云中，而且它们似乎也不打算在近期推出这样的服务。因此，潜在用户如何利用云中的数百TB的数据就变得有点神秘了。

DOSTOR存储在线 5月22日国际报道：谷歌和微软没有提供正式数据提取服务来帮助用户将大量数据放到云中，而且它们似乎也不打算在近期推出这样的服务。因此，潜在用户如何利用云中的数百TB的数据就变得有点神秘了。

云供应商通过数据提取服务为客户们提供了一个机会，让它们可以将硬盘中存储的数据快速上传到云中。亚马逊网络服务中的输入/输出服务就是第一批这类服务之一，支持最多16TB的数据提取，它的设备只有14英寸高、19英寸宽和36英寸长(标准19英寸机架中的8U设备的尺寸)，重量在50磅以内。

Rackspace提供了一款类似的服务，服务的名称是Cloud Files Bulk Import。电信巨头新加坡电信的澳大利亚分公司Optus也将提供一款类似的服务。澳大利亚云服务商Ninefold也推出了一款名为Sneakernet的类似服务。

某些其他的云供应商也提供了类似的服务，但没有形成产品或进行宣传。据一位云服务的客户称，他们从新的云服务供应商那里借了一台桌面NAS设备，然后又购买了一台那样的设备，将数据上传到设备，然后分派了一名员工去管理云设备。 NAS设备可随身携带，出行的员工在飞机上可以将那些设备放在腿上。

它需要那些长度，因为正如AWS在宣传推广其输入/输出服务时所说的，这样做比通过互联网来传输数据要快一些。

原因很简单，宽带上网服务的广告中所说的速度并不总是能够在现实生活中达到。例如，Optus对我们说，虽然它最快的宽带连网速度可达3-5Gbps，但标准服务协议只能保证300Mbps的速度。以那个速度计算，上传1TB的数据需要8个小时的时间，那还是在预留10%的带宽和网络流量不拥挤的情况下的乐观预期。

很难想象这种速度将如何被用于提供PB级存储服务的云服务，比如Azure的定价分级规定大约5PB的数据量就要收费。谷歌的BigQuery服务也承诺会支持最高数百TB的数据集的分析。

但是谷歌和微软没有提供有关客户如何将数据上传到云中的详细资料。尽管微软早就说过，它在2010年就对这样的服务进行过评估了。

Wordpress备份插件厂商cloudsafe365的首席执行官、联合创始人Craig Deveson表示，谷歌没有数据提取服务已经成为一个大问题。他在为澳大利亚的一家软件公司进行Gmail迁移时就遇到了这个问题。在进行那个项目的时候，他发现将过去的电子邮件数据迁移到谷歌云中的最好方法是先将存储着数据的磁盘发送到新加坡，然后上传到亚马逊的S3云存储服务之中。数据进入亚马逊的云中之后，我们必须运行一款程序来将数据提取出来，放到谷歌的后台中。

将大量数据发送到服务型软件供应商的云中也需要采取类似的手段。

例如，Salesforce.com曾经建议我们，零散的数据上传可以通过零散API来进行，它可以让SOAP和REST按批提取数据，每次提取10000条数据记录。公司说：“即便数据仍然要发送到服务器才行，但Force.com平台会提交批处理命令。”

公司回答说，所有的通用数据库产品都提供了提取到某个通用文件格式如.csv的功能。

至于人们是否能够等待.csv或其他更大的文件那就是另一回事了。