Redis是什么 Redis是一個(gè)開源的底層使用C語言編寫的Key-Value存儲數(shù)據(jù)庫??捎糜诰彺妗⑹录l(fā)布訂閱、高速隊(duì)列等場景。而且支持豐富的數(shù)據(jù)類型:string(字符串)、Hash(哈希)、List(列表)、Set(無序集合)、Zset(sorted set:有序集合)。 Redis在項(xiàng)目中的應(yīng)用場景: 1、緩存數(shù)據(jù) 最常用,對經(jīng)常需要查詢且變動(dòng)不是很頻繁的數(shù)據(jù) 常稱作熱點(diǎn)數(shù)據(jù)。 2、消息隊(duì)列 相當(dāng)于消息訂閱系統(tǒng),比如ActiveMQ、RocketMQ。如果對數(shù)據(jù)有較高一致性要求時(shí),還是建議使用MQ。 3、計(jì)數(shù)器 比如統(tǒng)計(jì)點(diǎn)擊率、點(diǎn)贊率,Redis具有原子性,可以避免并發(fā)問題。 4、電商網(wǎng)站信息 大型電商平臺初始化頁面數(shù)據(jù)的緩存。比如去哪兒網(wǎng)購買機(jī)票的時(shí)候首頁的價(jià)格和你點(diǎn)進(jìn)去的價(jià)格會有差異。 5、熱點(diǎn)數(shù)據(jù) 比如新聞網(wǎng)站實(shí)時(shí)熱點(diǎn)、微博熱搜等,需要頻繁更新??倲?shù)據(jù)量比較大的時(shí)候直接從數(shù)據(jù)庫查詢會影響性能。 給個(gè)愛的理由 在單節(jié)點(diǎn)服務(wù)器我們通常是這樣的。 隨著企業(yè)的發(fā)展、業(yè)務(wù)的擴(kuò)展。面對海量的數(shù)據(jù),直接使用MySQL會導(dǎo)致性能下降,數(shù)據(jù)的讀寫也會非常慢。于是我們就可以搭配緩存來處理海量數(shù)據(jù)。 于是現(xiàn)在我們是這樣的: 上圖只是簡述了緩存的作用,當(dāng)數(shù)據(jù)繼續(xù)增大我們需要利用主從復(fù)制技術(shù)來達(dá)到讀寫分離。 數(shù)據(jù)庫層直接與緩存進(jìn)行交互,如果緩存中有數(shù)據(jù)直接返回客戶端,如果沒有才會從MySQL中去查詢。從而減小了數(shù)據(jù)庫的壓力,提升了效率。 平時(shí)發(fā)布了一款新手機(jī),會有搶購活動(dòng)。同一時(shí)間段,服務(wù)端會收到很多的下單請求。 我們需要使用Redis的原子操作來實(shí)現(xiàn)這個(gè)“單線程”。首先我們把庫存存在一個(gè)列表中,假設(shè)有10件庫存,就往列表中push10個(gè)數(shù),這個(gè)數(shù)沒有實(shí)際意義,僅僅只是代表10件庫存。 搶購開始后,每到來一個(gè)用戶,就從列表中POP一個(gè)數(shù),表示用戶搶購成功。當(dāng)列表為空時(shí),表示已經(jīng)被搶光了。因?yàn)榱斜淼腜OP操作是原子的,即使有很多用戶同時(shí)到達(dá),也是依次執(zhí)行的。 題外話:還有的搶購是直接在前端頁面限制請求,這些請求直接被前端攔截,并沒有到后端服務(wù)器。 Redis為什么會這么快? 1、Redis是純內(nèi)存操作,需要的時(shí)候需要我們手動(dòng)持久化到硬盤中。 2、Redis是單線程,從而避開了多線程中上下文頻繁切換的操作。 3、Redis數(shù)據(jù)結(jié)構(gòu)簡單、對數(shù)據(jù)的操作也比較簡單。 4、使用底層模型不同,它們之間底層實(shí)現(xiàn)方式以及與客戶端之間通信的應(yīng)用協(xié)議不一樣,Redis直接自己構(gòu)建了VM機(jī)制 ,因?yàn)橐话愕南到y(tǒng)調(diào)用系統(tǒng)函數(shù)的話,會浪費(fèi)一定的時(shí)間去移動(dòng)和請求 5、使用多路I/O復(fù)用模型,非阻塞I/O。 多路I/O復(fù)用 I/O多路復(fù)用技術(shù),是為了解決進(jìn)程或線程阻塞到某個(gè)I/O系統(tǒng)調(diào)用而出現(xiàn)的技術(shù),可以監(jiān)視多個(gè)描述符,一旦某個(gè)描述符就緒(一般是讀就緒或者寫就緒,就是這個(gè)文件描述符進(jìn)行讀寫操作之前),能夠通知程序進(jìn)行相應(yīng)的讀寫操作。 Redis數(shù)據(jù)類型應(yīng)用場景 前面提到了Redis支持五種豐富的數(shù)據(jù)類型,那么在不同場景下我們該怎么選擇呢? String 字符串是最常用的數(shù)據(jù)類型,他能夠存儲任何類型的字符串,當(dāng)然也包括二進(jìn)制、JSON化的對象、甚至是Base64編碼之后的圖片。在Redis中一個(gè)字符串最大的容量為512MB,可以說是無所不能了。 Hash 常用作存儲結(jié)構(gòu)化數(shù)據(jù)、比如論壇系統(tǒng)中可以用來存儲用戶的ID、昵稱、頭像、積分等信息。如果需要修改其中的信息,只需要通過Key取出Value進(jìn)行反序列化修改某一項(xiàng)的值,再序列化存儲到Redis中。 對于Hash結(jié)構(gòu)存儲,由于Hash結(jié)構(gòu)會在單個(gè)Hash元素在不足一定數(shù)量時(shí)進(jìn)行壓縮存儲,所以可以大量節(jié)約內(nèi)存。這一點(diǎn)在String結(jié)構(gòu)里是不存在的。 List List的實(shí)現(xiàn)為一個(gè)雙向鏈表,即可以支持反向查找和遍歷,更方便操作,不過帶來了部分額外的內(nèi)存開銷,Redis內(nèi)部的很多實(shí)現(xiàn),包括發(fā)送緩沖隊(duì)列等也都是用的這個(gè)數(shù)據(jù)結(jié)構(gòu)。另外,可以利用lrange命令,做基于Redis的分頁功能,性能極佳,用戶體驗(yàn)好。 Set set對外提供的功能與List類似是一個(gè)列表的功能,特殊之處在于set是可以自動(dòng)排重的,當(dāng)你需要存儲一個(gè)列表數(shù)據(jù),又不希望出現(xiàn)重復(fù)數(shù)據(jù)時(shí),這個(gè)時(shí)候就可以選擇使用set。 Sorted Set 可以按照某個(gè)條件的權(quán)重進(jìn)行排序,比如可以通過點(diǎn)擊數(shù)做出排行榜的數(shù)據(jù)應(yīng)用。 Redis緩存的數(shù)據(jù)一致性 真正意義上來講數(shù)據(jù)庫的數(shù)據(jù)和緩存的數(shù)據(jù)是不可能一致的,數(shù)據(jù)分為最終一致和強(qiáng)一致兩類。如果業(yè)務(wù)中對數(shù)據(jù)的要求必須強(qiáng)一致那么就不能使用緩存。緩存能做的只能保證數(shù)據(jù)的最終一致性。 我們能做的只能是盡可能地保證數(shù)據(jù)的一致性。不管是先刪庫再刪緩存還是先刪緩存再刪庫,都可能出現(xiàn)數(shù)據(jù)不一致的情況,因?yàn)樽x和寫操作是并發(fā)的,我們沒辦法保證他們的先后順序。具體應(yīng)對策略還是要根據(jù)業(yè)務(wù)需求來定,這里就不贅述了。 Redis的過期和內(nèi)存淘汰 Redis存儲數(shù)據(jù)時(shí)我們可以設(shè)置他的過期時(shí)間。但是這個(gè)Key是怎么刪除的呢? 一開始我認(rèn)為是定時(shí)刪除,后來發(fā)現(xiàn)并不是這樣,因?yàn)槿绻〞r(shí)刪除,需要一個(gè)定時(shí)器來不斷地負(fù)責(zé)監(jiān)控這個(gè)Key,雖然內(nèi)存釋放了,但是非常消耗CPU資源。 Redis過期刪除采用的是定期刪除,默認(rèn)是每100ms檢測一次,遇到過期的Key則進(jìn)行刪除,這里的檢測并不是順序檢測,而是隨機(jī)檢測。 那這樣會不會有漏網(wǎng)之魚?顯然Redis也考慮到了這一點(diǎn),當(dāng)我們?nèi)プx/寫一個(gè)已經(jīng)過期的Key時(shí),會觸發(fā)Redis的惰性刪除策略,直接回干掉過期的Key。 內(nèi)存淘汰是指用戶存儲的一部分Key是可以被Redis自動(dòng)的刪除,從而會出現(xiàn)從緩存中查不到數(shù)據(jù)的情況。加入我們的服務(wù)器內(nèi)存為2G、但是隨著業(yè)務(wù)的發(fā)展緩存的數(shù)據(jù)已經(jīng)超過2G了。 但是這并不影響我們程序的運(yùn)行,因?yàn)椴僮飨到y(tǒng)的可見內(nèi)存并不受物理內(nèi)存的限制。物理內(nèi)存不夠用沒關(guān)系,計(jì)算機(jī)會從硬盤中劃出一片空間來作為虛擬內(nèi)存。這就是Redis設(shè)計(jì)兩種應(yīng)用場景的初衷:緩存、持久存儲。 緩存擊穿 緩存只是為了緩解數(shù)據(jù)庫壓力而添加的一層保護(hù)層,當(dāng)從緩存中查詢不到我們需要的數(shù)據(jù)就要去數(shù)據(jù)庫中查詢了。如果被黑客利用,頻繁去訪問緩存中沒有的數(shù)據(jù),那么緩存就失去了存在的意義,瞬間所有請求的壓力都落在了數(shù)據(jù)庫上,這樣會導(dǎo)致數(shù)據(jù)庫連接異常。 解決方案: 1、后臺設(shè)置定時(shí)任務(wù),主動(dòng)地去更新緩存數(shù)據(jù)。這種方案容易理解,但是當(dāng)Key比較分散的時(shí)候,操作起來還是比較復(fù)雜的。 2、分級緩存。比如設(shè)置兩層緩存保護(hù)層,1級緩存失效時(shí)間短,2級緩存失效時(shí)間長。有請求過來優(yōu)先從1級緩存中去查找,如果在1級緩存中沒有找到相應(yīng)數(shù)據(jù),則對該線程進(jìn)行加鎖,這個(gè)線程再從數(shù)據(jù)庫中取到數(shù)據(jù),更新至1級和2級緩存。其他線程則直接從2級線程中獲取。 3、提供一個(gè)攔截機(jī)制,內(nèi)部維護(hù)一系列合法的Key值。當(dāng)請求的Key不合法時(shí),直接返回。 緩存雪崩 緩存雪崩就是指緩存由于某些原因(比如宕機(jī)、Cache服務(wù)掛了或者不響應(yīng))整體Crash掉了,導(dǎo)致大量請求到達(dá)后端數(shù)據(jù)庫,從而導(dǎo)致數(shù)據(jù)庫崩潰,整個(gè)系統(tǒng)崩潰、發(fā)生災(zāi)難,也就是上面提到的緩存擊穿。 作者:初一,曾在知名互聯(lián)網(wǎng)公司擔(dān)任Java研發(fā)一職,項(xiàng)目帶頭人。2018年中旬轉(zhuǎn)行Python,熱愛爬蟲喜歡折騰新東西。Coding與樂趣同在。Talk is cheap,Show me the code。 |
|