PVFS描述
http:/parlweb.parl./pvfs/desc.html
PC集群作為一個并行平臺在逐步的普及，此平臺上的軟件需求也正在增長。在當今的集群中。
并行計算環(huán)境下，我們找到了許多有效的軟件模塊。比如可靠的操作系統(tǒng)，本地存儲系統(tǒng)和基于
消息傳遞的系統(tǒng)。然而，并行I/O限制了集群的軟件產(chǎn)品的生產(chǎn)。
并行虛擬文件系統(tǒng)(PVFS)工程為Linux集群提供了高性能和可擴展行的并行文件系統(tǒng)。PVFS是
開放原代碼的，并且在GNU公共版權許可證下發(fā)布。它無需特殊的硬件設備和內(nèi)核的改動。
PVFS提供重要的4個功能：
×一致性的訪問名字空間。
×支持現(xiàn)存的系統(tǒng)訪問方式。
×數(shù)據(jù)分布在集群節(jié)點不同機器不同的硬盤上。
×為應用程序提供高性能的數(shù)據(jù)訪問方式。
為了PVFS易于安裝和使用。它必須提供與集群訪問相一致的名字空間，而且它必須達到我們易
用的習慣方式。PVFS文件必須同時安裝到所有節(jié)點的相同目錄里。使得所有節(jié)點能看到和訪問PVFS
文件上的所有文件通過相同的配置。在已安裝PVFS文件和目錄能夠運用類似的工具，比如ls,cp和rm
。
為了給訪問很多客戶端上文件系統(tǒng)的數(shù)據(jù)提供高性能，PVFS將數(shù)據(jù)散布于許多集群的節(jié)點上，
應用程序能夠通過網(wǎng)絡從不同的路徑獲得數(shù)據(jù)。這個消除了I/O路徑的瓶頸，且增加了眾多客戶端
潛在的帶寬，或者是總和的帶寬。
當傳統(tǒng)的系統(tǒng)調(diào)用機制提供了方便的數(shù)據(jù)訪問給應用程序不同的文件系統(tǒng)的數(shù)據(jù)文件，是使用
在內(nèi)核之上的方式。對PVFS來說應用程序可以以連接本地PVFS，API的方式訪問文件系統(tǒng)。這類庫
直接使用Unix操作與PVFS服務器門連接，而不是傳遞消息給內(nèi)核。這個類庫能被應用程序于與其他
類庫使用。比如ROMIO,MPI-IO類庫，為了快速的PVFS訪問。
PVFS使用視圖
上面的PVFS視圖現(xiàn)實了PVFS系統(tǒng)的節(jié)點分布圖，節(jié)點被分成，計算節(jié)點，上面運行應用程序。
管理節(jié)點管理元數(shù)據(jù)，I/O節(jié)點存儲PVFS文件系統(tǒng)的文件。管理節(jié)點與I/O節(jié)點也可能被用來計算。
全看管理員。對于小的集群這些節(jié)點功能可重疊以維持資源的利用率。大的集群上I/O于metadata
最好放在不同的節(jié)點上。
PVFS系統(tǒng)有4個主要的模塊：
×元數(shù)據(jù)服務器(mgr)
×I/O服務器(iod)
×PVFS本地API(libpvfs)
×PVFS Linux內(nèi)核支持
第一二個模塊是在Linux節(jié)點上運行的后臺進程。元數(shù)據(jù)服務器，稱為mgr，管理著PVFS文件的
元數(shù)據(jù)。元數(shù)據(jù)是文件的描述，比如名字，所存放的目錄層次，所有者，和在系統(tǒng)節(jié)點中的分布。
通過一個自動的后臺進程我們避免了許多網(wǎng)絡存儲的缺點。訪問中存在復雜的鎖操作為的是在很多訪
問時保持文件的一致性。
第二個后臺進程是I/O節(jié)點或iod。I/O服務器存放和重得文件數(shù)據(jù)存儲于連接于節(jié)點上的本地
硬盤上。這些服務器在本地節(jié)點上創(chuàng)造真實的存在的文件。
它們使用傳統(tǒng)的read(),write()和mmap()訪問這些文件。這意味著能使用像本地文件一樣的
格式來存儲數(shù)據(jù)。比如ext2,ext3。另外你可以使用軟件或硬件的RAID來支持節(jié)點容錯和創(chuàng)建異常
大的文件。
metadata Access視圖
data access視圖
就像前面提及PVFS本地API提供用戶訪問權給服務器。這些類庫提供了分散聚集數(shù)據(jù)于用戶緩存
與PVFS服務器之間的操作。這些操作對用戶保持透明的。上面圖顯示了PVFS元數(shù)據(jù)和文件操作的數(shù)據(jù)
流動。對于元數(shù)據(jù)操作，應用與元數(shù)據(jù)服務器通訊通過使用類庫。對于數(shù)據(jù)操作和數(shù)據(jù)服務器被排除
替而帶之的是直接于I/O服務器聯(lián)系。這是性能的關鍵。
最后PVFS提供Linux內(nèi)核模塊是Linux上能安裝PVFS文件系統(tǒng)。這使得現(xiàn)在的程序直接訪問PVFS
文件而無需任何改動。這個支持對應用程序不是必須的使用PVFS的方法。不過它提供一個極方便的方
法給影響到系統(tǒng)。PVFS內(nèi)核模塊支持包括一個可裝載的模塊。一個可選的內(nèi)核補丁排除了內(nèi)核拷貝，
一個后臺進程pvfsd以為應用程序提供訪問PVFS文件系統(tǒng)。它用的是libpvfs的函數(shù)來執(zhí)行這些操作。
視圖
上圖顯示了數(shù)據(jù)通過內(nèi)核流向，當Linux內(nèi)核支持被使用。這個機制和coda文件系統(tǒng)中使用方式
相類似。（在我們設計的系統(tǒng)上coda應用作為一個實例）操作通過系統(tǒng)調(diào)用傳到linux的PVFS層。在這
里是一個pvfsd服務的隊列。這pvfsd通過設備文件接受操作。然后設備文件與PVFS服務器通訊取得
數(shù)據(jù)，通過內(nèi)核傳遞到應用程序。
應用程序接口：
為了使任何文件系統(tǒng)可用，方便的接口必須可用。這個問題對并行應用特別重要。這些應用對文件
系統(tǒng)有大量的需求。為了滿足這些眾多的組合，有三個接口PVFS能夠訪問。
×PVFS本地API
×Linux內(nèi)核接口
×ROMIO,MPI-IO接口
PVFS本地API提供一個類似Unix接口給PVFS文件訪問。它同樣允許用戶指定文件在PVFS文件系統(tǒng)I/O
節(jié)點條狀分布。Linux內(nèi)核接口。就像早先討論過的。允許用戶可通過傳統(tǒng)通道訪問PVFS文件系統(tǒng)。這
使得用戶使用所有普通的功能執(zhí)行每天的數(shù)據(jù)處理，PVFS文件系統(tǒng)，臨時數(shù)據(jù)存儲。
ROMIO執(zhí)行MPI IO調(diào)用在一個輕量級的類庫中，這允許并行程序使用MPI去訪問PVFS文件，通過MPIIO
接口。另外，ROM-IO使用了兩個優(yōu)化：數(shù)據(jù)篩選，二階段集體I/O，這樣有利于提高性能。更多的資訊
在ROMIO包和ROMIO網(wǎng)頁中三個優(yōu)化的描述。
性能：
開始二個PVFS系統(tǒng)最重要的目標是高性能和可測量性。集群增大時，高性能并行I/O支持非常重要。
我們工作是弄清楚PVFS將持續(xù)滿足這些新的需求。
這里我們概要了PVFS本地API的性能，在chiba city集群上運行有256個雙處理器的節(jié)點。二中互連
的系統(tǒng)，快速以太網(wǎng)和Myrient網(wǎng)絡。我們將顯示分別在這些網(wǎng)絡上訪問數(shù)據(jù)的性能。
視圖
在上面的圖中我們可看見快速以太網(wǎng)總計的性能。圖上顯示24個I/O節(jié)點后性能下降。這有可能是
tcp在快速以太網(wǎng)上，和超出了以太網(wǎng)承受能力。但是網(wǎng)絡的結構和選擇I/O服務器布置也可能遵守一定
的規(guī)則。
在第二組測試中我們看Myrient上的性能。使用總Myrient帶寬與I/O節(jié)點類似來表示性能。PVFS性能
攀升在已經(jīng)作的測試中性能攀升表現(xiàn)很好。
PVFS開發(fā)人員區(qū)域：
為PVFS作貢獻：
我們常尋找對PVFS工程的幫助。如果你有任何主意，建議，錯誤報告，錯誤修復，或者向要一個新
功能，請讓我們知道。PVFS持GPL許可證，原代碼是公開的，如果你有對你有點幫助或想簡單的跟蹤本工
程請使用下文。
我們打算搞一個活動的建議列表，為了PVFS研究者或對工程貢獻的人，你可以查看這個列表。
PVFS的郵件列表：
我們提供二個PVFS討論郵件列表。PVFS用戶和PVFS開發(fā)者，你能參加其中一個或全部。
http://parlweb.parl./pvfs/pvfs-list.html
用開發(fā)人員列表是最好的保持與我們聯(lián)絡的方式。如果你想為PVFS作貢獻。如果你想提供補丁或討論
任何與PVFS發(fā)展有關的事情。請在這里遞交你的郵件。 匿名CVS的訪問：
我們使用CVS管理所有PVFS的原代碼。為了得到更多如何使用CVS的信息，請參考你本地支持或參觀
CVS網(wǎng)站。我們提供了所有用戶能讀PVFS原代碼的權限。
訪問CVS庫是對PVFS實驗與開發(fā)新功能感興趣的人提供的。我們無法保證CVS中的代碼都能使用，或
你的數(shù)據(jù)在使用它后是安全的。我們不為那些沒有使用已知穩(wěn)定的版本提供支持。注意你已經(jīng)被警告了！
我們經(jīng)常會制作穩(wěn)定的版本，你能在http://parlweb.parl./pvfs/files.html找到。這個才
是你要這樣的每天使用的代碼。如果，你還沒有被恐嚇嚇倒，下面列出了如何得到最近的cvs.parl.clemosn.edu
的CVS版本。
檢驗最近的PVFS和PVFS內(nèi)核原代碼：
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs login 任何密碼
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs co pvfs
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs co pvfs -kernal
cvs -d : pserver:anonymous@cvs.parl.:/anoncvs logout
*升級你的合格的代碼到最近改變的CVS（這個必須在已經(jīng)檢查的目錄中作）
cvs -d :pserver:anonymous@cvs.parl.:/anoncvs login （任何密碼）
cvs -d :pserver:anonymous@cvs.parl.:/anoncvs update -P -d
cvs -d :pserver:anonymous@cvs.parl.:/anoncvs logout
如果你打算經(jīng)常這樣作，你可能想創(chuàng)建別名，腳本和特殊的CVS客戶端配置作這些，而無需這樣麻煩。
