我們先拋出一個問題: LSM樹是HBase里使用的非常有創(chuàng)意的一種數據結構。在有代表性的關系型數據庫如MySQL、SQL Server、Oracle中,數據存儲與索引的基本結構就是我們耳熟能詳的B樹和B+樹。而在一些主流的NoSQL數據庫如HBase、Cassandra、LevelDB、RocksDB中,則是使用日志結構合并樹(Log-structured Merge Tree,LSM Tree)來組織數據。 首先,我們從B+樹講起為什么在RDBMS中我們需要B+樹(或者廣義地說,索引)?一句話:減少尋道時間。在存儲系統(tǒng)中廣泛使用的HDD是磁性介質+機械旋轉的,這就使得其順序訪問較快而隨機訪問較慢。使用B+樹組織數據可以較好地利用HDD的這種特點,其本質是多路平衡查找樹。一個典型的B+樹如下圖所示:
如果你對B+樹不夠熟悉,可以參考這里:https://blog.csdn.net/b_x_p/article/details/86434387 那么,B+樹有什么缺點呢?B+樹最大的性能問題是會產生大量的隨機IO,隨著新數據的插入,葉子節(jié)點會慢慢分裂,邏輯上連續(xù)的葉子節(jié)點在物理上往往不連續(xù),甚至分離的很遠,但做范圍查詢時,會產生大量讀隨機IO。 LSM Tree為了克服B+樹的弱點,HBase引入了LSM樹的概念,即Log-Structured Merge-Trees。 LSM Tree(Log-structured merge-tree)起源于1996年的一篇論文:The log-structured merge-tree (LSM-tree)。當時的背景是:為一張數據增長很快的歷史數據表設計一種存儲結構,使得它能夠解決:在內存不足,磁盤隨機IO太慢下的嚴重寫入性能問題。 LSM Tree(Log-structured merge-tree)廣泛應用在HBase,TiDB等諸多數據庫和存儲引擎上: 我們來看看大佬設計這個數據結構: Ck tree是一個有序的樹狀結構,數據的寫入流轉從C0 tree 內存開始,不斷被合并到磁盤上的更大容量的Ck tree上。由于內存的讀寫速率都比外存要快非常多,因此數據寫入的效率很高。并且數據從內存刷入磁盤時是預排序的,也就是說,LSM樹將原本的隨機寫操作轉化成了順序寫操作,寫性能大幅提升。不過它犧牲了一部分讀性能,因為讀取時需要將內存中的數據和磁盤中的數據合并。 回到Hbase來,我們在之前的文章中《Hbase性能優(yōu)化手冊》中提到過Hbase的讀寫流程: MemStore是HBase中C0的實現,向HBase中寫數據的時候,首先會寫到內存中的MemStore,當達到一定閥值之后,flush(順序寫)到磁盤,形成新的StoreFile(HFile),最后多個StoreFile(HFile)又會進行Compact。 memstore內部維護了一個數據結構:ConcurrentSkipListMap,數據存儲是按照RowKey排好序的跳躍列表。跳躍列表的算法有同平衡樹一樣的漸進的預期時間邊界,并且更簡單、更快速和使用更少的空間。 HBase為了提升LSM結構下的隨機讀性能,還引入了布隆過濾器(建表語句中可以指定),對應HFile中的Bloom index block,其結構圖如下所示。
通過布隆過濾器,HBase就能以少量的空間代價,換來在讀取數據時非??焖俚卮_定是否存在某條數據,效率進一步提升。 |
|