現(xiàn)在如果你要購買電視，基本都是4K超高清的了。

但是我們發(fā)現(xiàn)，目前4K的電視節(jié)目源不是太多，因為4K對節(jié)目的播放和制作的要求太高了。

不是電視臺不想提供4K節(jié)目，而是他們沒有神器支持?，F(xiàn)在的非線編都是多層畫面一次合成，由于4K對帶寬的要求很高，因此支持的層數(shù)就是個大問題。

而大型的綜藝節(jié)目，經(jīng)常需要5-6層以上的后臺編輯制作。為了支持6層4K編輯這么高的性能，對非線編的存儲性能要求極高，傳統(tǒng)的NAS很難支持。

難道只能采用SAN的方式？但是SAN的共享不是那么方便，現(xiàn)在用得越來越少了。

江湖傳言Scale-out NAS能搞定這個事情，真的嗎？只要是Scale-out NAS都可以嗎？

不是的。華為說，目前只有其OceanStor 9000能做到。不是所有的牛奶都叫特侖蘇，不是所有的NAS都叫OceanStor。西瓜哥加了一句，不是所有的群豬（主）都叫西瓜哥。

為啥就你大華為可以做到，小伙伴們紛紛表示不服。難道OceanStor 9000有神功護體？

西瓜哥也想不通，作為“高端存儲知識”的CHO（首席忽悠官），專業(yè)忽悠存儲已三年，不能就這樣被問倒了。

西瓜哥冥思苦想，百思不得姐。某日，于路上撿到一本書，一看書名，嚇了一跳，《葵花寶典》。

打開一看，首頁八個大字，大家都知道的：要練此功，必先自宮！

正當西瓜哥要豁出去的時候，看到下面還有一行小字：除非有強大的腌（研）發(fā)實力。

O(∩_∩)O哈哈~，西瓜哥大笑三聲，高興地哼起來歌曲：把根留住。

還好，西瓜哥畢竟也編過網(wǎng)，打過魚，是中國的最早網(wǎng)民之一。魚吃不完經(jīng)常腌起來，因此，腌發(fā)能力還有一點。

西瓜哥翻了半天，在殘卷辟邪劍譜里，有一套劍法叫六脈神劍。書中說，學會這六種劍招，就可以打通任督六脈，功力大增。西瓜哥練了3年，終于成為江湖上著名的群主（豬）之一。

西瓜哥終于領悟，華為OceanStor 9000能和特侖蘇和西瓜哥一樣名滿江湖，肯定也有自己的六脈神劍絕招。

廢話了這么長，那么華為OceanStor 9000的六脈神劍具體是那6招呢？

其實OceanStor 9000的聚合性能很好，但那個只是第三方通用測試的結果。實際的環(huán)境和測試環(huán)境并不相同，因此，需要針對不同的應用做相應的優(yōu)化。

華為針對媒資的非線編場景，推出了一系列的應用感知優(yōu)化，使得這種特定場景下OceanStor 9000的性能大幅提升，華為把這些加速特性叫做華為性能加速技術，特別是在蘋果工作站的環(huán)境下，性能提升尤其明顯，這也是為什么能夠支持6層4K超高清視頻編輯的主要原因吧，因為據(jù)說目前80%的非線編工作站都是蘋果牌的。

從華為內(nèi)部的測試情況看，在Mac Pro工作站的高清非線編（NLE）場景下，原來的老版本只支持6層，現(xiàn)在新版本可以支持20層，主要就是由于華為性能加速技術發(fā)揮了重要的作用。

這6個加速技術我們一一打開來看看。

• 1、應用感知的智能緩存技術

當前包括Linux、FreeBSD和Solaris等主流操作系統(tǒng)都遵循了一個簡單有效的原則：把讀模式分為隨機讀和順序讀兩大類，并只對順序讀進行預讀。這一原則相對保守，但是可以保證很高的預讀命中率，同時有效率也很好。因為順序讀是最簡單而普遍的，而隨機讀對文件系統(tǒng)來說也確實是難以預測的。

媒資場景使用的非編軟件要處理多種多樣的媒體文件格式，其中很多媒體文件播放的時候，不屬于順序化的讀取。 這個取決于媒體文件的編碼格式，例如某些文件格式中視頻數(shù)據(jù)以及音頻數(shù)據(jù)不是連續(xù)存放的，擁有各自的視頻區(qū)域以及音頻區(qū)域(例如下圖)：

此時播放軟件就會一會兒讀取視頻數(shù)據(jù)，一會兒讀取音頻數(shù)據(jù)，導致經(jīng)常有IO超出預讀范圍，只能下到磁盤讀取，造成較大時延。

OceanStor 9000系統(tǒng)為了提高上述場景下的緩存命中率，對各種主流非編應用軟件下的多種主流媒體文件編碼格式的業(yè)務模式進行了分析對比，總結出了一系列的業(yè)務訪問模式。華為針對媒體文件不僅僅采用順序的方式進行預讀，而是采取了基于模式識別的預讀算法，根據(jù)業(yè)務模型預測之后可能需要讀取的數(shù)據(jù)，提前讀入緩存。

目前，OceanStor 9000支持主流的非編軟件，例如FinalCut Pro ，Adobe CC，Avid這些國外的軟件，并且支持中國主流集成商的自研系統(tǒng)，例如大洋，索貝，捷成等。支持常見的視頻編碼格式，如mxf，mov等格式。

通過針對媒資領域的細分優(yōu)化，OceanStor 9000系統(tǒng)提供了專用的預讀技術。為媒資用戶提供了更高的緩存命中效率，對時延敏感的場景，起到明顯的性能提升效果。

• 2、NAS協(xié)議增強技術

傳統(tǒng)的NAS協(xié)議主要分為NFS，CIFS兩個主要的協(xié)議。LINUX系統(tǒng)一般使用NFS協(xié)議做文件共享的首選協(xié)議，WINDOW系統(tǒng)一般使用CIFS協(xié)議作為文件共享協(xié)議。MAC系統(tǒng)下這兩種協(xié)議都可以支持，但是從實現(xiàn)的角度看，MAC系統(tǒng)對這兩種協(xié)議的支持均不理想，性能上都存在一些不盡人意的地方。OceanStor9000重構了MAC上的NFS協(xié)議實現(xiàn)，使之能與OceanStor 9000系統(tǒng)配合的更為合理，最大化發(fā)揮OceanStor9000系統(tǒng)的性能。

在傳統(tǒng)的NFS協(xié)議定義中，Client與Server間是一對一的關系。(只有NFS4.1協(xié)議支持一對多的關系，但是MAC上無法支持NFS4.1協(xié)議)

由于OceanStor 9000系統(tǒng)是一個支持統(tǒng)一名字空間的集群NAS系統(tǒng)，多臺NAS機頭可同時對外提供文件服務，通過對傳統(tǒng)的NFS協(xié)議進行了優(yōu)化，運用多路徑技術，一個客戶端可以聚合多個NAS機頭的帶寬能力，如“三江匯合”一般形成更大的流量。

隨著4K時代的到來，處理媒體文件的帶寬需求越來越高，往往一臺服務器的處理能力已經(jīng)不足以支撐一臺客戶端的處理需求。此時OceanStor9000系統(tǒng)，可以提供NAS服務器集群服務，并且隨著服務節(jié)點數(shù)的增加，提供線性增長的處理能力。多路徑技術打破了鏈接上的限制，并且可以在客戶端上增加多塊網(wǎng)卡，多路徑技術可以將多塊網(wǎng)卡的能力聚合起來一起使用，徹底消除客戶端與NAS服務端之間的網(wǎng)絡瓶頸。

使用多路徑技術之后，根據(jù)內(nèi)部基于負載的調(diào)度算法，不同的素材文件可以由不同的服務器提供服務。甚至同一素材，也可以拆解成不同的部分，由不同的服務器同時提供服務。

另外，MAC上默認的NFS協(xié)議默認最大傳輸單元為64KB。也就是每個請求每次最多傳輸64K數(shù)據(jù)。在現(xiàn)代文件系統(tǒng)的角度看，這種傳輸能力是很弱的。OceanStor 9000系統(tǒng)對傳輸協(xié)議進行了優(yōu)化，經(jīng)過優(yōu)化后，傳輸單元大小可以根據(jù)業(yè)務狀態(tài)進行自適應，大幅削減了MAC系統(tǒng)與OceanStor 9000系統(tǒng)之間的報文交互，可以更充分的發(fā)揮交換網(wǎng)絡性能。

這時，當單個MAC客戶端需要的處理能力很高時，可以安裝華為開發(fā)的協(xié)議增強組件來提高性能。

傳統(tǒng)的NAS作為文件服務共享服務器設計，一般的設計思路是一個服務器為多個客戶端提供服務。當每個客戶端要求的能力不高時，該種設計是沒有問題的。但隨著媒體技術的不停更新，單個客戶端需求的能力越來越高，OceanStor9000系統(tǒng)打破了傳統(tǒng)的設計框架，允許使用多臺服務器同時為一個客戶端提供服務，同時增加了傳輸單元的自適應能力，極大的提升了單客戶端可以使用的存儲能力。對高清節(jié)目制作等場景提供了有力支持。

• 3、磁盤布局優(yōu)化技術

多個文件同時向文件系統(tǒng)寫入時，文件系統(tǒng)為了盡量的減少這種磁頭跳動，普遍使用了兩種不同的布局方式來分配這些文件的布局信息，大致有兩種做法。

• 傾向于寫的布局方法：

傾向于寫的布局方式按照數(shù)據(jù)到來的先后來組織硬盤數(shù)據(jù)格式，這樣最大化減少了寫數(shù)據(jù)時磁頭的跳動。多個文件同時并發(fā)將數(shù)據(jù)寫入文件系統(tǒng)時，磁頭幾乎不需要跳動。但是讀取文件時，由于各個文件的數(shù)據(jù)時混雜在一起的，因此讀取的時候會存在一定的跳躍。

• 傾向于讀的布局方法：

傾向于讀的布局方法會給每個文件準備一塊連續(xù)的空間，盡量把同一文件的數(shù)據(jù)順序存放，這樣讀文件的時候會很連續(xù)。但是寫入數(shù)據(jù)的時候，磁頭跳轉會比較多。

OceanStor9000系統(tǒng)為每臺設備配備了保電內(nèi)存。所有寫入OceanStor 9000系統(tǒng)的數(shù)據(jù)均會先寫到保電內(nèi)存中，在保電內(nèi)存中進行一定的合并與排序，然后將整合好的順序數(shù)據(jù)寫入磁盤。這樣既保證了寫入時的順序性，在文件讀取時，數(shù)據(jù)仍然是順序的。在讀和寫的場景均可以極大的減少磁頭的跳動。

在保電內(nèi)存以及延遲分配技術的支持下，即使大量文件并發(fā)寫入OceanStor 9000系統(tǒng)仍然在保持磁頭連續(xù)工作的情況下，保證每個文件的數(shù)據(jù)盡可能的連續(xù)。保持在讀和寫兩種情況下，都可以充分利用磁盤的能力，提供很好的讀寫性能。

• 4、基于KV的高效本地存儲系統(tǒng)

大部分分布式文件系統(tǒng)中，都不會由分布式文件系統(tǒng)層來直接管理磁盤。因為會大幅增加分布式文件系統(tǒng)層的開銷，一般的情況下會采用本地文件系統(tǒng)來管理磁盤設備。而分布式文件系統(tǒng)層，將多個底層的本地文件系統(tǒng)聚合為一個統(tǒng)一的分布式文件系統(tǒng)使用。

一般分布式文件系統(tǒng)的架構如下：

一般分布式文件系統(tǒng)為了實現(xiàn)簡單，都是在開源的本地文件系統(tǒng)的基礎上做簡單的修改。作為本地文件系統(tǒng)使用。例如:lustre使用了EXT4作為本地文件系統(tǒng)，CEPH使用BTreeFS作為本地文件系統(tǒng)使用。

使用開源本地文件系統(tǒng)作為本地文件系統(tǒng)的一個優(yōu)點在于實現(xiàn)簡單，可以減少很多工作量。同時開源文件系統(tǒng)的可靠性以及性能都是經(jīng)過較長時間驗證的，可靠性較高。但同樣也存在著一些問題，最大的問題就是這些開源本地文件系統(tǒng)并不是為了分布式文件系統(tǒng)而設計的，存在很多設計上的浪費或者不能協(xié)調(diào)工作的問題。

OceanStor 9000系統(tǒng)并沒有使用開源的本地文件系統(tǒng)來管理磁盤設備，而是自主研發(fā)了一套基于KV的本地存儲管理系統(tǒng)來對磁盤設備進行管理。

基于KV的存儲系統(tǒng)與一般文件系統(tǒng)的主要差別在于基于KV的存儲系統(tǒng)并沒有實現(xiàn)完整的文件系統(tǒng)語義，例如:目錄樹結構，link操作，rename操作等語義，在KV系統(tǒng)中都不必考慮。因此基于KV的存儲系統(tǒng)在設計復雜度上較文件系統(tǒng)可以大幅度簡化，同時由于精簡了很多設計，也帶來了性能上的提升。

以開源文件系統(tǒng)zfs為例，為了實現(xiàn)完整的文件系統(tǒng)語義，以及一些增值特性，每個底層數(shù)據(jù)塊定位在邏輯上需要需要近20層的跳轉，其中包括超級塊，元數(shù)據(jù)對象集，數(shù)據(jù)對象集，對象描述符，空間管理對象等諸多邏輯概念。而這些概念在分布式文件系統(tǒng)對本地存儲的需求中，是沒有實際的作用的。而相比之下，基于KV的存儲系統(tǒng)就相對簡單很多。如下圖所示，

常見的KV系統(tǒng)磁盤布局如上圖，超級塊之下，只有兩層扁平化的結構，來負責Key值的管理以及實際數(shù)據(jù)的存放。極大化的降低了系統(tǒng)復雜性的同時，大幅提升了存儲訪問效率。

針對OceanStor 9000文件系統(tǒng)專門設計KV系統(tǒng)，對傳統(tǒng)的文件系統(tǒng)語義進行了最大化的裁剪。僅保留兩層扁平化的結構，極大的減少了IO路徑的長度。一般情況下，精簡的Key值均能夠在緩存命中，用戶的一次IO操作均可直接轉換為一次磁盤IO，省去了中間所有的環(huán)節(jié)。達到了磁盤效率的最大化利用。

• 5、IO路徑上的零拷貝設計

制約分布式文件系統(tǒng)性能的一個很大部分就是數(shù)據(jù)在模塊間以及在分布式文件系統(tǒng)各個硬件節(jié)點之間進行的各種傳輸和拷貝。例如：數(shù)據(jù)從內(nèi)核態(tài)接收數(shù)據(jù)后，向用戶態(tài)處理程序之間的拷貝；數(shù)據(jù)從一條設備向另一臺設備發(fā)送的過程中，進出socket 緩存造成的數(shù)據(jù)拷貝等。OceanStor 9000在設計層面始終遵循零拷貝的設計理念。將數(shù)據(jù)的拷貝減少到最小程度。

首先，軟件層面所有內(nèi)部數(shù)據(jù)處理單元之間，杜絕數(shù)據(jù)塊的拷貝。數(shù)據(jù)塊流經(jīng)的所有數(shù)據(jù)處理單元均不存在數(shù)據(jù)的拷貝，而使用地址一路傳遞。

然后，由于分布式文件系統(tǒng)無法避免數(shù)據(jù)在硬件節(jié)點之間的傳遞，因此在此處OceanStor 9000硬件設備上使用了具備RDMA功能的硬件網(wǎng)卡，可以利用RDMA功能，直接操作遠端內(nèi)存，避免數(shù)據(jù)進出socket緩存造成的性能開銷。同時可以節(jié)省CPU資源。

通過對IO路徑上的零拷貝設計， OceanStor 9000系統(tǒng)做到了對讀寫IO的低時延快速響應。提升了整系統(tǒng)的性能。

• 6、SMB多通道技術（MultiChannel）

OceanStor9000新增了對multichannel特性的支持。multichannel是SMB3.0引入的多通道傳輸特性。該特性會帶來如下優(yōu)點

• 提高吞吐量。文件服務器可以通過高速網(wǎng)絡適配器或多個網(wǎng)絡適配器上面的多個連接同時傳輸更多的數(shù)據(jù)。

• 網(wǎng)絡容錯。當使用同時多個網(wǎng)絡連接時，如果出現(xiàn)部分網(wǎng)絡連接失效，客戶端可繼續(xù)工作不受干擾。

• 自動配置：SMB多通道發(fā)現(xiàn)多個可用的網(wǎng)絡路徑存在時，可以動態(tài)地根據(jù)需要添加連接。

在單個Windows客戶端需要較高帶寬的時候，可以使用該功能，將多個網(wǎng)口的能力聚合起來。提供更高的帶寬。

上面的6大性能加速，西瓜哥感覺最后一點不是華為特有的，僅僅是華為支持最新的SMB3.0協(xié)議而已，其他廠商也會做。但前面5大加速技術，確實是華為比較獨特的針對媒資場景特別開發(fā)的。西瓜哥原來說過，如果讓存儲感知應用，這個價值是巨大的，就像ORACLE的存儲可以和自己的數(shù)據(jù)庫聯(lián)動，實現(xiàn)heatmap信息的共享和列壓縮特性等。

通過對華為的性能加速技術特性的了解，西瓜哥認為OceanStor9000可能算上華為第一款應用感知的存儲吧，雖然目前只實現(xiàn)了非線編應用的感知。這種應用感知的能力需要強大的研發(fā)能力，也需要對行業(yè)應用理解和深耕。

華為OceanStor的研發(fā)如此努力，市場上的表現(xiàn)如何呢？

剛剛看華為官微宣傳，好像國內(nèi)著名的電視臺都在用華為OceanStor 9000：

“繼中央電視臺、鳳凰衛(wèi)視、深圳廣電集團等一線電視臺與華為存儲攜手之后，近日，北京電視臺宣布采用華為OceanStor 9000大數(shù)據(jù)存儲系統(tǒng)打造智慧新媒體服務云存儲支撐平臺?！?/em>

從大數(shù)網(wǎng)對華為宣傳的文章看到，市場數(shù)據(jù)也驗證了華為在廣電行業(yè)的成功：
根據(jù)IDC 2014報告,華為在中國區(qū)廣電市場NAS占有率為28%，排名第一，成為中國媒資存儲領域市場領跑者。

看來，華為OceanStor 9000在媒資行業(yè)的聚焦，使其在市場上取得了比較大的成功。顯然，OceanStor 9000已經(jīng)成為媒資的好基友了。

P.S. 前天西瓜哥發(fā)了一篇文章《27層凈化，好水好品質(zhì)；6層超高清，媒資好基友》的文章，很多人說看不懂，加上里面有些錯誤，因此刪除了重寫。希望這個娛樂版大家都可以看懂，也希望大家喜歡。