您好,欢迎您来到DOIT! [ 登录 ] [ 免费注册 ]
您的位置:DOIT云计算> 风:云趋势 > 分析评论 > 正文

云存储:海量数据上传云中并非易事

DOIT云计算 12年05月22日 13:21 【编译】 译者:wangfei 责任编辑:王振

导读:谷歌和微软没有提供正式数据提取服务来帮助用户将大量数据放到云中,而且它们似乎也不打算在近期推出这样的服务。因此,潜在用户如何利用云中的数百TB的数据就变得有点神秘了。

关键词: 数据管理 云存储 云服务

DOSTOR存储在线 5月22日国际报道:谷歌和微软没有提供正式数据提取服务来帮助用户将大量数据放到云中,而且它们似乎也不打算在近期推出这样的服务。因此,潜在用户如何利用云中的数百TB的数据就变得有点神秘了。

云供应商通过数据提取服务为客户们提供了一个机会,让它们可以将硬盘中存储的数据快速上传到云中。亚马逊网络服务中的输入/输出服务就是第一批这类服务之一,支持最多16TB的数据提取,它的设备只有14英寸高、19英寸宽和36英寸长(标准19英寸机架中的8U设备的尺寸),重量在50磅以内。

Rackspace提供了一款类似的服务,服务的名称是Cloud Files Bulk Import。电信巨头新加坡电信的澳大利亚分公司Optus也将提供一款类似的服务。 澳大利亚云服务商Ninefold也推出了一款名为Sneakernet的类似服务。

某些其他的云供应商也提供了类似的服务,但没有形成产品或进行宣传。据一位云服务的客户称,他们从新的云服务供应商那里借了一台桌面NAS设备,然后又购买了一台那样的设备,将数据上传到设备,然后分派了一名员工去管理云设备。 NAS设备可随身携带,出行的员工在飞机上可以将那些设备放在腿上。

它需要那些长度,因为正如AWS在宣传推广其输入/输出服务时所说的,这样做比通过互联网来传输数据要快一些。

原因很简单,宽带上网服务的广告中所说的速度并不总是能够在现实生活中达到。例如,Optus对我们说,虽然它最快的宽带连网速度可达3-5Gbps,但标准服务协议只能保证300Mbps的速度。 以那个速度计算,上传1TB的数据需要8个小时的时间,那还是在预留10%的带宽和网络流量不拥挤的情况下的乐观预期。

很难想象这种速度将如何被用于提供PB级存储服务的云服务,比如Azure的定价分级规定大约5PB的数据量就要收费。 谷歌的BigQuery服务也承诺会支持最高数百TB的数据集的分析。

但是谷歌和微软没有提供有关客户如何将数据上传到云中的详细资料。尽管微软早就说过,它在2010年就对这样的服务进行过评估了。

Wordpress备份插件厂商cloudsafe365的首席执行官、联合创始人Craig Deveson表示,谷歌没有数据提取服务已经成为一个大问题。他在为澳大利亚的一家软件公司进行Gmail迁移时就遇到了这个问题。 在进行那个项目的时候,他发现将过去的电子邮件数据迁移到谷歌云中的最好方法是先将存储着数据的磁盘发送到新加坡,然后上传到亚马逊的S3云存储服务之中。数据进入亚马逊的云中之后,我们必须运行一款程序来将数据提取出来,放到谷歌的后台中。

将大量数据发送到服务型软件供应商的云中也需要采取类似的手段。

例如,Salesforce.com曾经建议我们,零散的数据上传可以通过零散API来进行,它可以让SOAP和REST按批提取数据,每次提取10000条数据记录。公司说:“即便数据仍然要发送到服务器才行,但Force.com平台会提交批处理命令。”

公司回答说,所有的通用数据库产品都提供了提取到某个通用文件格式如.csv的功能。

至于人们是否能够等待.csv或其他更大的文件那就是另一回事了。

  • 人人网
  • 转播到腾讯微博腾讯微博
  • 新浪微博
热点文章排行
  • 微软重拳推出Office 365  微软重拳推出Office 365 2011年07月08日 经过大半年的准备,微软终于在今年6月份隆重推出了云计算办公套件Office 365。那么,Office 365作为微软集成了电子邮件、协作软件、字处理软件、电子表格和演示程序的办公套件重要产品之一,Office 365对微软来说到底是福是祸,能否为微软带来实质性的营收,能否让微软在新兴的云计算领域赢得一席之地?
  • 云计算和算计云 云计算和算计云 2011年06月22日 DOIT特别专题从云的历史进程到目前实施云的厂商,逐一谈起,让读者耳目一新的了解到现在云的现状以及如何不被云所算计。
  • 云端争夺战——IT厂商的盛宴 云端争夺战——IT厂商的盛宴 2010年07月27日 云计算到底是如何发迹的似乎已经不再重要了,重要的是它确实炙手可热。