土豆的视频云:存储与交付的混合是核心
至顶网 12年06月11日 14:42 【转载】 作者:刘杰 责任编辑:王振
导读:如今,视频这样一种新媒体方法已经被广大的网络用户所接受,视频网站的数据量和访问量也迅猛增长,于是在云计算的大时代下,不少国内视频网站已经逐步开始视频云平台的部署,不仅有助于解决视频网站的技术和成本难题……
与亚马逊EC2弹性云计算不同的是,土豆网主要针对三件事情做了优化:优化,上传、转码和分发,最核心的是转码。也就是说,首先用户可以很容易地把数据上传到土豆网,其次把大量的视频转换成可观看的内容,第三是把这些视频分发让业务可以加以利用。
与亚马逊S3不同是,土豆网选择就近上传的方法,有多个转码集群,计算采用单一编解码,多种格式输入和输出,但用不同码流多路径分发到存储节点上。
在土豆运用云计算的实践中,有几点是十分重要的。第一件事情,就是一用户来源区域为核心的上传调度,其中DNS以及七层的二次调度是互联网最基础的 也是帮助用户获得数据很关键的部分;第二,基于多服务器多核心的并发转码,其中采用了任务调度和优先级机制,发送到多个服务器并进行转码;第三,是核心的 MateDB管理,这需做提前的去重和版权管理;最后,是跨网络、跨机房和跨运营商的快速分发,这也就是云中“计算”的部分。
黄冬认为,未来视频云有三个可以不断优化的方面:
首先,视频转码的优化,只有对各种输出做好优化才能在最终交付的时候兼容足够多的设备,减少CPU的损耗,此外加快转码;
其次是视频计算的大IO优化,硬盘IO优化。土豆曾经尝试过用128GB甚至更大的内存替代磁盘,但有时候用户上传到一台设备的数据会超过 128GB;另外尝试使用固态盘,读性能虽然非常出色,但既写又读的时候性能相对较差,因此黄冬认为这是未来的一个竞争点,“对于硬盘I/O我们还没有找到一个很好的机制,相信未来这是云计算优化的关键,谁做得好谁就会抢得先机。”
最后,分布式MateDB的改造,做好异地复制和同步机制。黄冬认为,未来像EC2这样纯粹在云端的计算差的就是存储,而Hadoop这样将设备CPU用于本地存储计算是云计算的最好模型。