以客戶為中心,提供定制化或一站式的全棧解決方案,賦能千行百業(yè)
xx臺新媒體每天產(chǎn)生大量的視音頻媒體節(jié)目,為超過百萬用戶提供多內(nèi)容、全業(yè)務、高質(zhì)量的節(jié)目服務。隨著視頻內(nèi)容的日益積累、內(nèi)容分發(fā)范圍不斷增大,對生產(chǎn)系統(tǒng)和存儲系統(tǒng)都提出更高的要求,所以建立一套系統(tǒng)完善、安全性高的素材存儲系統(tǒng)便是如今最重要的工作之一。
新項目的建設,將為xx臺新媒體媒資庫存儲提供高性能的數(shù)據(jù)存儲平臺。滿足存儲空間的同時,還要求存儲系統(tǒng)穩(wěn)定可靠、高性能、易擴展、易維護等特性。針對xx臺新媒體媒資庫存儲的需求,細化分析如下:
1.根據(jù)當前和近幾年數(shù)據(jù)容量的增長預估,存儲系統(tǒng)需要提供近500TB的有效存儲空間。
2.存儲系統(tǒng)具有良好的擴展性,以應對媒資系統(tǒng)擴容后更大存儲規(guī)模需求
3.業(yè)務系統(tǒng)要求存儲系統(tǒng)提供3GB/s的穩(wěn)定帶寬。
4.高可用存儲,系統(tǒng)具備完善的自治能力,確保數(shù)據(jù)不丟失,存儲服務不停機。
5.多協(xié)議支持,便于各類服務器和工作站接入并獲取存儲資源。
6.配置簡潔,維護便捷,方便使用和后期管理。
根據(jù)用戶的需求并結(jié)合用戶的實際應用場景,在該項目中采用PL-XDFS分布式文件存儲系統(tǒng),構(gòu)建海量、高效、可擴展的分布式存儲系統(tǒng)。
通過PL-XDFS分布式存儲系統(tǒng)豐富的協(xié)議支持、強大的橫向擴展能力、超高的吞吐性能為媒資系統(tǒng)提供高性能、動態(tài)高可擴展的CIFS/FTP存儲服務。同時結(jié)合其強大的動態(tài)擴展能力,可隨著業(yè)務發(fā)展,快速實現(xiàn)性能或容量的動態(tài)擴展,大大簡化系統(tǒng)規(guī)劃難度、降低前期投入。
此次方案中配置了5個PL-XDFS節(jié)點,每個節(jié)點配置24塊8TB硬盤,總裸容量達到了960TB,配合4+1的糾刪碼冗余策略,考慮到單盤容量較大,出現(xiàn)故障依賴網(wǎng)絡恢復的時間較長,對業(yè)務系統(tǒng)的負載影響較大,在每節(jié)點內(nèi)部配置RAID保護,每24顆磁盤配置2組12顆盤的RAID5+HotSpare,因此最終容量利用率為960TB*20/24*0.8*0.91=582TB。每個節(jié)點提供600MB/s的帶寬輸出,總輸出帶寬可以達到3GB/s以上。容量和性能均可滿足業(yè)務需求。
每個PL-XDFS配置2*10Gbe+2*1Gb網(wǎng)卡,5個PL-XDFS節(jié)點之間采用萬兆網(wǎng)絡互連,流媒體和新媒體工作站采用萬兆網(wǎng)卡接入萬兆網(wǎng)絡,其他業(yè)務服務器通過千兆網(wǎng)卡與每個PL-XDFS的千兆網(wǎng)口實現(xiàn)業(yè)務組網(wǎng)。
PL-XDFS同時支持POSIX/NFS/CIFS/FTP協(xié)議, 無需安裝任何客戶端,即可實現(xiàn)多客戶端跨平臺訪問,滿足了媒資平臺不同主機平臺共享訪問媒體資源的需求。
PL-XDFS除糾刪碼保護外,還支持副本保護,未來對于部分要求更高可靠性的數(shù)據(jù),可采用副本方式進行增強保護。
PL-XDFS的核心是XDFS分布式文件系統(tǒng),XDSF是寶德基于業(yè)界領先和廣泛使用的GlusterFS分布式文件系統(tǒng),結(jié)合技術(shù)團隊多年的工程化及系統(tǒng)優(yōu)化經(jīng)驗,針對非結(jié)構(gòu)化數(shù)據(jù)應用環(huán)境推出的海量分布式存儲系統(tǒng)。XDFS可實現(xiàn)動態(tài)的容量及性能擴展、卓越的系統(tǒng)高可用性;借助虛擬化和并行化的卷組、文件系統(tǒng)資源管理,可構(gòu)建大規(guī)模、高性能、動態(tài)可擴展的共享存儲架構(gòu)。XDFS可實現(xiàn)192PB的海量存儲規(guī)模、 可線性擴展的高性能。
1、分布式存儲集群,去中心化架構(gòu),無需獨立元數(shù)據(jù)服務器
2、基于DHT算法智能數(shù)據(jù)定位,有效提升媒資素材檢索效率
3、全以太網(wǎng)單網(wǎng)架構(gòu),無需專用的光纖通道設備(FC-SAN)
4、綜合采用RAID、糾刪碼數(shù)據(jù)保護,有效實現(xiàn)了節(jié)點內(nèi)、節(jié)點間的復合數(shù)據(jù)
保護,并合理控制了數(shù)據(jù)修復的系統(tǒng)資源占用和網(wǎng)絡占用
5、標準客戶端設計,無需在業(yè)務主機安裝任何客戶端,讓業(yè)務主機專注應用
6、可擴展副本保護,增加關鍵數(shù)據(jù)的可用性
7、高密度設備,采用4U/24bay設備,有效降低空間和能耗,合理控制成本
8、系統(tǒng)無單點故障,數(shù)據(jù)高可用,存儲服務不停機
9、系統(tǒng)支持數(shù)據(jù)分層,未來可增加SSD或SAS,按數(shù)據(jù)熱點實現(xiàn)自動分級存儲
PL-XDFS采用完全去中心化的的分布式文件存儲架構(gòu),無獨立元數(shù)據(jù)服務器設計,消除元數(shù)據(jù)信息交互瓶頸;Scale-out動態(tài)擴展,快速在線增刪節(jié)點,最高可實現(xiàn)1024個節(jié)點集群,可管理近100PB的海量數(shù)據(jù)。
PL-XDFS提供分布式的文件讀寫和共享服務,本次配置的5節(jié)點集群可實現(xiàn)3GB的性能,可管理海量文件,未來可通過集群擴展,實現(xiàn)100GB的帶寬;支持萬兆網(wǎng)卡及Infiniband網(wǎng)絡,通過RDMA優(yōu)化并發(fā)讀寫性能。并可通過SSD實現(xiàn)數(shù)據(jù)分層或小文件性能優(yōu)化。
PL-XDFS提供副本和糾刪碼兩種數(shù)據(jù)/集群保護模式,節(jié)點內(nèi)部還可選RAID保護,用戶可根據(jù)應用類型、數(shù)據(jù)重要性、性能、成本平衡選擇配置模式,實現(xiàn)數(shù)據(jù)高可用保護和存儲服務高可用保護。XDFS可實現(xiàn)不停機的在線擴展,大大縮減或消除計劃內(nèi)的停機時間。