联系我们
发送留言
二维码

TOP

返回顶部
合作咨询
  • 姓名

  • 邮件

  • 手机号码

  • 公司名

  • 联系留言

联系我们
  • 总部地址

    广州市黄埔区瑞吉二街京广协同创新中心45号楼6-9层

  • 电子邮箱

    trusme@trusme.com.cn

  • 联系电话

    400-855-2725 / 020-38638003

  • 传真号码

    020-38637770

当前位置  :   解决方案  >   互联网    
短视频数据中心存储架构解决方案
行业描述

随着互联网内容不断更新迭代,短视频取代了文字、图片,占据了人们工作、生活之余的大部分碎片时间。在短视频业务快速扩张的背后,是各种技术的不断革新在质层,包括移动终端性能的提升,移动网络的提速,当然还有后端计算平台的日益强劲和稳健。
当我们从看图时代转向视频时代时,数据中心又需要什么样的变革来适应新的业务应用?

1、每月需存储PB级的数据
视频相较文字和图片的存储需要更大的空间,以国内某短视频平台的对外公开数据来看,仅从存储的视频容量来看,平台每月新增的短视频容量都将超过1PB。按照单块硬盘8T,每块服务器12块硬盘,每月为了存储这些视频就需要新增12台服务器。

2、占比高达80%的冷数据,如何处理
视频行业的数据都有一个共同的特点——数据的热度不均且变化较快。大部分上传的数据的高热度状态仅能保持1周甚至更短的时间。在数据中心中热数据、温数据和冷数据占总数据量的比例约为5%、15%、80%。冷数据也可以被叫做“低价值度的数据”,占用了大部分的存储空间,但是通常不会再产生价值(被观看)。虽然如此,但平台需要保证保有的数据不会被删除,如何安全且低成本的保存这些数据也成了一个必须要解决的问题。

解决方案介绍

计算与存储分离,各司其职
短视频背后的数据中心架构其实并不是特别复杂,从视频采集端到客户端,编解码、用户特征分析由专门的计算节点完成;CDN节点负责热点视频的缓存加速和分发;高密度的存储节点用于存储平台的视频数据。






CDN节点,考虑如何让热点数据最快发出

由于视频流量大,CDN节点所承载的吞吐量较大,因此对于存储容量和扩容的便捷度要求更高。另外由于CDN需要存储的数据热度不一,视频数据需要分级存储,将不同热度数据放在不同的存储介质中,充分发挥部件的利用效率,提升存储能效比。


对于CDN服务器的选择,通常会需要计算和存储两类服务器来支撑:
计算型主要用于处理分发任务等,需高主频CPU,内存和硬盘容量的要求并不高;
存储型用于关键节点的数据存储和快速分发,要求IT架构中需要大容量的HDD或高速SSD
信维P3620G2,是一款计算存储均衡类服务器。


存储性能上,P3620G2前置12块3.5寸大容量SATA硬盘,单机最大可支持240T的CDN数据,满足CDN集群的庞大数据容量需求;对于相对热的数据,P3620G2可选后置的4块2.5寸SSD盘位,可同时支持SATA/NVME协议的SSD,将提升系统整体响应速度。
经实测,使用SSD固态硬盘后单台服务器的服务能力提升了1倍以上。


高密存储节点,提升存储能效比

作为存储节点的高密度服务器、不需要太高的计算处理性能,可以选择基于英特尔至强第1、2代至强可扩展处理器的U3620G3机型,搭配单颗银牌低功耗CPU,通过大容量14T/16T/18T硬盘的使用,以追求更高的存储能效比以及更优的TCO收益。


高硬盘IO和网络IO

在短视频的传递链条中,用户端上传的视频直接存入4U36盘位组成的存储集群中,并通过分布在各地的CDN节点传送到用户端观看,因此对后端存储服务器的硬盘IO表现有较高的要求。


U3620G3机型,其36盘位顺序写的总带宽接近9.6GB,顺序读接近12GB,有力支撑了硬盘高IO读写的性能需求。此外,U3620G3可选支持万兆网卡,可构建起10Gb的内部高速互联网络,保障了数据访问和传输所需的网络带宽。

客户收益

-  信维P3620G2是计算存储均衡类服务器,在存储性能上,搭配前置12块大容量SATA硬盘及后置4块2.5寸硬盘,满足CDN集群的庞大数据容量需求。


-  搭载1颗第1/2代银牌处理器的U3620G3,可以带来强大的计算性能,同时单CPU的TDP(散热设计功耗)只用85W,对比上一代E5-2600V3/V4 CPU,在达到同样的计算性能的情况下,可以节省更多的能耗支出。


-  36盘位顺序写的总带宽接近4.8GB,顺序读接近6GB,有力支撑了这种硬盘高IO读写的性能需求,同时单台4U36机器最高可支持到720TB的存储容量,支持部署少数量的存储机器来应对增速迅猛的冷数据增长,同时更减少了租赁机柜的数量,大大降低运营成本


-  P3620G2、U3620G3都可具备强大的PCI-E扩展能力,可扩展10G、25G、40G、100G、200G多种网络接口选择,为应用提供更加灵活的网络结构,保障了数据访问和传输的稳定性,同时满足随着互联网数据网络模型增长对数据传输提出的高带宽需求。