從上一篇文章的計算中我們可以看到一個15k轉(zhuǎn)速的磁盤在隨機讀寫訪問的情況下IOPS竟然只有140左右，但在實際應(yīng)用中我們卻能看到很多標(biāo)有5000IOPS甚至更高的存儲系統(tǒng)，有這么大IOPS的存儲系統(tǒng)怎么來的呢？這就要歸結(jié)于各種存儲技術(shù)的使用了，在這些存儲技術(shù)中使用最廣的就是高速緩存(Cache)和磁盤冗余陣列(RAID)了，本文就將探討緩存和磁盤陣列提高存儲IO性能的方法。

高速緩存(Cache)

在當(dāng)下的各種存儲產(chǎn)品中，按照速度從快到慢應(yīng)該就是內(nèi)存>閃存>磁盤>磁帶了，然而速度越快也就意味著價格越高，閃存雖然說是發(fā)展勢頭很好，但目前來說卻還是因為價格問題無法普及，因此現(xiàn)在還是一個磁盤作霸王的時代。與CPU和內(nèi)存速度相比，磁盤的速度無疑是計算機系統(tǒng)中最大的瓶頸了，所以在必須使用磁盤而又想提高性能的情況下，人們想出了在磁盤中嵌入一塊高速的內(nèi)存用來保存經(jīng)常訪問的數(shù)據(jù)從而提高讀寫效率的方法來折中的解決，這塊嵌入的內(nèi)存就被稱為高速緩存。

說到緩存，這東西應(yīng)用現(xiàn)在已經(jīng)是無處不在，從處于上層的應(yīng)用，到操作系統(tǒng)層，再到磁盤控制器，還有CPU內(nèi)部，單個磁盤的內(nèi)部也都存在緩存，所有這些緩存存在的目的都是相同的，就是提高系統(tǒng)執(zhí)行的效率。當(dāng)然在這里我們只關(guān)心跟IO性能相關(guān)的緩存，與IO性能直接相關(guān)的幾個緩存分別是文件系統(tǒng)緩存(File System Cache)、磁盤控制器緩存(Disk Controller Cache)和磁盤緩存(Disk Cache,也稱為Disk Buffer)，不過當(dāng)在計算一個磁盤系統(tǒng)性能的時候文件系統(tǒng)緩存也是不會考慮在內(nèi)的，因此我們重點考察的就是磁盤控制器緩存和磁盤緩存。

不管是控制器緩存還是磁盤緩存，他們所起的作用主要是分為三部分：緩存數(shù)據(jù)、預(yù)讀(Read-ahead)和回寫(Write-back)。

緩存數(shù)據(jù)

首先是系統(tǒng)讀取過的數(shù)據(jù)會被緩存在高速緩存中，這樣下次再次需要讀取相同的數(shù)據(jù)的時候就不用在訪問磁盤，直接從緩存中取數(shù)據(jù)就可以了。當(dāng)然使用過的數(shù)據(jù)也不可能在緩存中永久保留的，緩存的數(shù)據(jù)一般那是采取LRU算法來進行管理，目的是將長時間不用的數(shù)據(jù)清除出緩存，那些經(jīng)常被訪問的卻能一直保留在緩存中，直到緩存被清空。

預(yù)讀

預(yù)讀是指采用預(yù)讀算法在沒有系統(tǒng)的IO請求的時候事先將數(shù)據(jù)從磁盤中讀入到緩存中，然后在系統(tǒng)發(fā)出讀IO請求的時候，就會實現(xiàn)去檢查看看緩存里面是否存在要讀取的數(shù)據(jù)，如果存在（即命中）的話就直接將結(jié)果返回，這時候的磁盤不再需要尋址、旋轉(zhuǎn)等待、讀取數(shù)據(jù)這一序列的操作了，這樣是能節(jié)省很多時間的；如果沒有命中則再發(fā)出真正的讀取磁盤的命令去取所需要的數(shù)據(jù)。

緩存的命中率跟緩存的大小有很大的關(guān)系，理論上是緩存越大的話，所能緩存的數(shù)據(jù)也就越多，這樣命中率也自然越高，當(dāng)然緩存不可能太大，畢竟成本在那兒呢。如果一個容量很大的存儲系統(tǒng)配備了一個很小的讀緩存的話，這時候問題會比較大的，因為小緩存緩存的數(shù)據(jù)量非常小，相比整個存儲系統(tǒng)來說比例非常低，這樣隨機讀?。〝?shù)據(jù)庫系統(tǒng)的大多數(shù)情況）的時候命中率也自然就很低，這樣的緩存不但不能提高效率（因為絕大部分讀IO都還要讀取磁盤），反而會因為每次去匹配緩存而浪費時間。

執(zhí)行讀IO操作是讀取數(shù)據(jù)存在于緩存中的數(shù)量與全部要讀取數(shù)據(jù)的比值稱為緩存命中率(Read Cache Hit Radio)，假設(shè)一個存儲系統(tǒng)在不使用緩存的情況下隨機小IO讀取能達到150IOPS，而它的緩存能提供10%的緩存命中率的話，那么實際上它的IOPS可以達到150/(1-10%)=166。

回寫

首先說一下，用于回寫功能的那部分緩存被稱為寫緩存(Write Cache)。在一套寫緩存打開的存儲中，操作系統(tǒng)所發(fā)出的一系列寫IO命令并不會被挨個的執(zhí)行，這些寫IO的命令會先寫入緩存中，然后再一次性的將緩存中的修改推到磁盤中，這就相當(dāng)于將那些相同的多個IO合并成一個，多個連續(xù)操作的小IO合并成一個大的IO，還有就是將多個隨機的寫IO變成一組連續(xù)的寫IO，這樣就能減少磁盤尋址等操作所消耗的時間，大大的提高磁盤寫入的效率。

讀緩存雖然對效率提高是很明顯的，但是它所帶來的問題也比較嚴(yán)重，因為緩存和普通內(nèi)存一樣，掉點以后數(shù)據(jù)會全部丟失，當(dāng)操作系統(tǒng)發(fā)出的寫IO命令寫入到緩存中后即被認(rèn)為是寫入成功，而實際上數(shù)據(jù)是沒有被真正寫入磁盤的，此時如果掉電，緩存中的數(shù)據(jù)就會永遠的丟失了，這個對應(yīng)用來說是災(zāi)難性的，目前解決這個問題最好的方法就是給緩存配備電池了，保證存儲掉電之后緩存數(shù)據(jù)能如數(shù)保存下來。

和讀一樣，寫緩存也存在一個寫緩存命中率(Write Cache Hit Radio)，不過和讀緩存命中情況不一樣的是，盡管緩存命中，也不能將實際的IO操作免掉，只是被合并了而已。

控制器緩存和磁盤緩存除了上面的作用之外還承當(dāng)著其他的作用，比如磁盤緩存有保存IO命令隊列的功能，單個的磁盤一次只能處理一個IO命令，但卻能接收多個IO命令，這些進入到磁盤而未被處理的命令就保存在緩存中的IO隊列中。

RAID(Redundant Array Of Inexpensive Disks)

如果你是一位數(shù)據(jù)庫管理員或者經(jīng)常接觸服務(wù)器，那對RAID應(yīng)該很熟悉了，作為最廉價的存儲解決方案，RAID早已在服務(wù)器存儲中得到了普及。在RAID的各個級別中，應(yīng)當(dāng)以RAID10和RAID5（不過RAID5已經(jīng)基本走到頭了，RAID6正在崛起中，看看這里了解下原因）應(yīng)用最廣了。下面將就RAID0，RAID1，RAID5，RAID6，RAID10這幾種級別的RAID展開說一下磁盤陣列對于磁盤性能的影響，當(dāng)然在閱讀下面的內(nèi)容之前你必須對各個級別的RAID的結(jié)構(gòu)和工作原理要熟悉才行，這樣才不至于滿頭霧水，推薦查看wikipedia上面的如下條目：RAID，Standard RAID levels，Nested RAID levels。

RAID0

RAID0將數(shù)據(jù)條帶化(striping)將連續(xù)的數(shù)據(jù)分散在多個磁盤上進行存取，系統(tǒng)發(fā)出的IO命令（不管讀IO和寫IO都一樣）就可以在磁盤上被并行的執(zhí)行，每個磁盤單獨執(zhí)行自己的那一部分請求，這樣的并行的IO操作能大大的增強整個存儲系統(tǒng)的性能。假設(shè)一個RAID0陣列有n(n>=2)個磁盤組成，每個磁盤的隨機讀寫的IO能力都達到140的話，那么整個磁盤陣列的IO能力將是140*n。同時如果在陣列總線的傳輸能力允許的話RAID0的吞吐率也將是單個磁盤的n倍。

RAID1

RAID1在容量上相當(dāng)于是將兩個磁盤合并成一個磁盤來使用了，互為鏡像的兩個磁盤里面保存的數(shù)據(jù)是完全一樣的，因此在并行讀取的時候速度將是n個磁盤速度的總和，但是寫入就不一樣了，每次寫入都必須同時寫入到兩個磁盤中，因此寫入速度只有n/2。

RAID5

我們那一個有n(n>=3)個磁盤的RAID5陣列來看，首先看看RAID5陣列的讀IO，RAID5是支持并行IO的，而磁盤上的數(shù)據(jù)呈條帶狀的分布在所有的磁盤上，因此讀IO的速度相當(dāng)于所有磁盤速度的總和。不過這是在沒有磁盤損壞的情況下，當(dāng)有一個磁盤故障的時候讀取速度也是會下降的，因為中間需要花時間來計算丟失磁盤上面的數(shù)據(jù)。

讀取數(shù)據(jù)的情況相對就要復(fù)雜的多了，先來看下RAID5奇偶校驗數(shù)據(jù)寫入的過程，我們把寫入的數(shù)據(jù)稱為D1，當(dāng)磁盤拿到一個寫IO的命令的時候，它首先會讀取一次要入的地址的數(shù)據(jù)塊中修改之前的數(shù)據(jù)D0，然后再讀取到當(dāng)前條帶中的校驗信息P0，接下來就根據(jù)D0，P0，D1這三組數(shù)據(jù)計算出數(shù)據(jù)寫入之后的條帶的奇偶校驗信息P1，最后發(fā)出兩個寫IO的命令，一個寫入D1，另一個寫入奇偶校驗信息P1?？梢钥闯鲫嚵性趯嶋H操作的時候需要讀、讀、寫、寫一共4個IO才能完成一次寫IO操作，也就是實際上的寫入速度只有所有磁盤速度總和的1/4。從這點可以看出RAID5是非常不適合用在要大批量寫入數(shù)據(jù)的系統(tǒng)上的。

RAID6

RAID6和RAID5很類似，差別就在于RAID6多了一個用于校驗的磁盤。就寫IO速度上來說這兩個是完全一樣的，都是所有磁盤IO速度的總和。

在寫IO上也很是類似，不同的是RAID將一個命令分成了三次讀、三次寫一共6次IO命令才能完成，也就是RAID6實際寫入磁盤的速度是全部磁盤速度之和的1/6?？梢钥闯鰪膶慖O看RAID6比RAID5差別是很大的。

RAID10

RAID0讀寫速度都很好，卻沒有冗余保護；RAID5和RAID6都有同樣的毛病就是寫入的時候慢，讀取的時候快。那么RAID1呢？嗯，這里要說的就是RAID1，其實不管是RAID10還是RAID01，其實都是組合大于2塊磁盤時候的RAID1，當(dāng)先鏡像后條帶時候就稱為RAID10，先條帶后鏡像的時候稱為RAID01。從性能上看RAID01和RAID10都是一樣的，都是RAID1嘛，但是RAID10在重建故障磁盤的時候性能比RAID01要快。

因為RAID10其實就是RAID1，所以它的性能與RAID1也就是一樣的了，這里不需要再做過多的討論。

四個性能指標(biāo)的變化

IO響應(yīng)時間(IO Response Time)

在任何時候IO響應(yīng)時間值得都是單個IO的響應(yīng)時間，因此，不管磁盤是否組成了磁盤陣列，它的IO響應(yīng)時間應(yīng)該都是一樣的。從前面的計算中我們可以看到，如果IO響應(yīng)時間在10ms左右的話是很正常的，但是當(dāng)IO響應(yīng)時間比這個值超出太多的時候，你就要開始注意了，很可能就意味著此時你的磁盤系統(tǒng)已經(jīng)成為了一個瓶頸。

IOPS

綜合上面兩個部分的討論我們來估算一下陣列下的磁盤總體IOPS，在這里我們先假設(shè)組成陣列的單個磁盤的隨機讀寫的IOPS為140，讀寫緩存命中率都為10%，組成陣列的磁盤個數(shù)為4。

因為不管是那種陣列，磁盤的讀取性能都是所有磁盤之和，所以可以得出下面的讀取IOPS：

而寫入性能就完全不一樣了，根據(jù)上面的討論我們可以得出下面結(jié)論：

由此我們也可以計算出寫入IOPS估算公式：

實際上從通過上面的計算方法我們還可以估算當(dāng)給定一個要求的IOPS的情況下，估計下使用各個陣列級別所需要的磁盤的數(shù)量。當(dāng)然我們上面的計算方法只是一個估算，我們忽略很多其他的因素，得出的只是一個大概的數(shù)值，不過在實際的應(yīng)用還是有一定的參考作用的。

本篇最后附送一個計算磁盤系統(tǒng)IOPS的網(wǎng)站――wmarow’s disk & disk array calculator，這個網(wǎng)站提供的計算公式還考慮了諸如陣列條帶大小以及主機方面的因素，很有參考價值，至于怎么選擇合適的條帶大小，請參考【延伸閱讀】部分。

傳輸速度(Transfer Rate)/吞吐率(Throughput)

實際上估算除了隨機讀寫的IOPS也就知道了隨機讀寫的吞吐率。對于順序讀寫的呢，還是跟前一篇所講的一樣，主要受限于磁盤的限制，不能再拿IOPS來衡量了。

延伸閱讀

• Disk Buffer
• The Linux Page Cache and pdflush
• RAID
• Standard RAID levels
• Nested RAID levels
• wmarow’s disk & disk array calculator
• Picking the right stripe size