日韩黑丝制服一区视频播放|日韩欧美人妻丝袜视频在线观看|九九影院一级蜜桃|亚洲中文在线导航|青草草视频在线观看|婷婷五月色伊人网站|日本一区二区在线|国产AV一二三四区毛片|正在播放久草视频|亚洲色图精品一区

分享

演講回顧:阿里云存儲技術(shù)的演進(jìn),以及云服務(wù)用例最佳實踐

 命運(yùn)之輪 2014-11-20

2013年4月的QCon北京會場上,阿里云計算產(chǎn)品總監(jiān)倪浩帶來了主題為《阿里云計算的實踐》的分享。在分享中,倪浩介紹了阿里云的服務(wù)體系,技術(shù)路線的選擇,著重介紹了彈性計算和存儲技術(shù)的演進(jìn),并且在最后介紹了使用阿里云服務(wù)的一些最佳實踐。

InfoQ編輯從本次分享中獲取到一些有意思的信息如下:

云計算對客戶最大的價值是什么?

成本不是關(guān)鍵。事實上,使用云計算有時候反而要比較貴,但是盯著省錢不如盯著賺錢。靈活性(可快速變化)和簡單性(易于操作)使得云計算能夠更好的為客戶交付更多的價值,這才是云計算最大的價值。

為什么阿里云(包括其他大型公共云平臺)要選擇自己從頭開發(fā)整個底層軟件,而沒有在現(xiàn)成的OpenStack、CloudStack、Eucalyptus、Hadoop、MongoDB等開源軟件的基礎(chǔ)上構(gòu)建?

對于阿里云這樣規(guī)模的業(yè)務(wù)而言,如果采用各種開源技術(shù)拼湊起來的方案,會缺乏主線的控制力,而且拼湊的過程一點(diǎn)都不簡單。同時,各種軟件幾乎不可能共享集群的資源。

阿里云存儲在發(fā)展過程中遭遇過哪些坑?是如何解決的?

云存儲系統(tǒng)的業(yè)務(wù)特點(diǎn)在于大量的隨機(jī)IO,擦寫十分頻繁。

阿里云的存儲系統(tǒng),到目前經(jīng)歷過三個階段。

第一個階段是最原始的:所有的VM訪問基于RAID的共享存儲。RAID本身并不是為了這種大量隨機(jī)讀寫的情景設(shè)計的,同時因為RAID的數(shù)據(jù)都在本地,一旦宕機(jī)是無法遷移的。

第二個階段采用了異步同步的思路:VM過來的運(yùn)行時讀寫先進(jìn)入本地存儲,同時以扇區(qū)為單位,異步向KVEngine做同步,KVEngine掛在(append)阿里的分布式文件存儲系統(tǒng)(盤古)上。這樣做的好處是可以取巧的利用(不支持隨機(jī)讀寫的)飛天盤古的數(shù)據(jù)冗余,萬一本地宕機(jī)可以通過KVEngine中的數(shù)據(jù)在另一臺機(jī)器上恢復(fù);但是,KVEngine異步同步數(shù)據(jù)仍然有丟失的可能。

第三個階段是:支持隨機(jī)IO的分布式存儲系統(tǒng)。跟之前的append-only不同,這是基于盤古實現(xiàn)的Random Access File(RAF)。其實現(xiàn)的思路是:

  • Master-slave,Master負(fù)責(zé)元數(shù)據(jù)管理,Slave(Chunk Server)負(fù)責(zé)讀寫
  • 基于Paxos協(xié)議的多Master架構(gòu)
  • 分片(文件切成chunk存入Chunk Server),冗余(每個chunk存三個副本)

整個方案最大的挑戰(zhàn)在于:如何保持?jǐn)?shù)據(jù)一致性。這是所有分布式存儲系統(tǒng)面臨的最大問題,從理論到實現(xiàn)都非常復(fù)雜。

阿里云的服務(wù)類型很多,如何選擇才能效果最優(yōu)?

優(yōu)化云服務(wù)用例的根本原則在于:知道每個服務(wù)都被設(shè)計好做一件事情。

因此,每個服務(wù)都有自己的優(yōu)勢,也有自己的陷阱。

比如,阿里云目前提供了不同的存儲服務(wù):

  1. 開發(fā)存儲服務(wù)(OSS)
  2. 開放結(jié)構(gòu)化數(shù)據(jù)服務(wù)(OTS)
  3. 關(guān)系型數(shù)據(jù)庫服務(wù)(RDS)  

未來還會提供Cache/Queue/CDN等。當(dāng)然,云服務(wù)器(ECS)本身也帶有存儲。

  • 使用ECS的存儲當(dāng)然可以,但如果你的讀寫很重,把壓力轉(zhuǎn)移到OSS、OTS或RDS上才是正途。
  • OSS相當(dāng)于一個帶寬不受限、空間不受限、并發(fā)不受限的在線存儲
  • OTS適合不需要關(guān)系型操作的結(jié)構(gòu)化數(shù)據(jù)
  • RDS具備優(yōu)越的讀寫性能(FusionIO),但總數(shù)據(jù)量要小于1TB

網(wǎng)絡(luò)方面,負(fù)載均衡(SLB)提供HTTP和TCP,分別在不同的層面,需要考慮好自己的業(yè)務(wù)適合在哪一層做。同時,按月購買的服務(wù)器的帶寬限制是完全的上行帶寬(從服務(wù)器流出的帶寬),下行帶寬(流入服務(wù)器的帶寬)是千兆規(guī)格,相當(dāng)于沒有限制。

InfoQ編輯就一些讀者感興趣的問題跟倪浩進(jìn)行了詢問,他的回答如下:

InfoQ:阿里云部分基于XEN,那么在XEN被Citrix 收購后,如果社區(qū)活躍度下降,后續(xù)更新乏力,那么將來如何解決已經(jīng)采用XEN運(yùn)行的虛擬服務(wù)器這個問題?

倪浩:阿里云目前是基于XEN,也在對KVM進(jìn)行研究。未來如果XEN比KVM確實距離太大,一定會有方案能夠幫助用戶在線遷移。

InfoQ:如果阿里云改造后采用了公網(wǎng)地址沉降的辦法,即運(yùn)行虛擬服務(wù)器宿主機(jī)直接連接到互聯(lián)網(wǎng)上的話,針對很多中小企業(yè)用戶對如何設(shè)置防火墻以及應(yīng)保護(hù)哪些端口還不是熟悉的情況以及黑客的掃描性攻擊狀況,如何應(yīng)對?

倪浩:阿里云是公網(wǎng)下沉,建設(shè)大二層網(wǎng)絡(luò);同時提供了云盾來幫助用戶抵御公網(wǎng)上的各種攻擊,包括端口安全檢測、密碼破解防御等服務(wù),同時云盾還將提供Web防火墻,讓用戶通過Web來配置安全策略包括端口及IP限制等。

InfoQ:阿里云如何解決鏡像遷出的問題,即用戶創(chuàng)建了云服務(wù)器后,如果用戶長成中大企業(yè)有可能希望將云服務(wù)器移到企業(yè)內(nèi)部IT系統(tǒng)上運(yùn)行,阿里云的鏡像格式可以允許用戶隨意在企業(yè)內(nèi)部的Linux或Windows宿主機(jī)上運(yùn)行嗎?

倪浩:暫時阿里云的鏡像還未能支持用戶自己下載,未來會容許用戶選擇導(dǎo)出的格式(如VHD等)。

InfoQ:阿里云存儲采用KVEngine大概是什么時候?采用RAF大概又是在什么時候?對用戶來說,在2013年感受到的I/O相比之前幾年,能有多大的提升?

倪浩:RAF是大概一年半之前(2012年初)上線的。它的主要優(yōu)勢是數(shù)據(jù)的高可靠性做的很好,但會損失一定的性能。

InfoQ:對于RAF的數(shù)據(jù)一致性實現(xiàn),能否簡單的介紹一下其理論?有哪些參考資料可以推薦么?

倪浩:RAF的一致性較為復(fù)雜,簡單的說,是通過client與chunk server、master通過協(xié)同對chunk版本的進(jìn)行管理,其中,client是協(xié)作者(因為對虛擬機(jī)來說只有一個client會去操作文件),而master是最終的版本持久化、版本決策者。

InfoQ:您在RAF的實現(xiàn)思路中提到幾個需要注意的問題,如流控、復(fù)制風(fēng)暴等,這是怎樣的情況,能簡單說明一下么?

倪浩:復(fù)制風(fēng)暴是這樣的:假設(shè)集群有1000臺機(jī)器,在負(fù)載較高的情況下,其中有1臺機(jī)器宕機(jī)了(每天都會發(fā)生),它上面的數(shù)據(jù)為了高可靠(雖然只是N份拷貝中的一份,但少了這臺,拷貝數(shù)就變?yōu)镹-1,可靠性降低),需要被復(fù)制到其他M臺機(jī)器上。而這M臺機(jī)器中可能有些機(jī)器已經(jīng)負(fù)載很高了,如果不做流控,那么這些機(jī)器頁可能會被拖死,這樣1000臺機(jī)器的集群可能就有5臺機(jī)器宕機(jī)。而這5臺的機(jī)器數(shù)據(jù)又要被復(fù)制到其他機(jī)器上。如此惡性循環(huán),可能會把整個集群拖死,這就是復(fù)制風(fēng)暴。

InfoQ:阿里云是否會允許第三方合作伙伴在平臺上提供類似云盾、云監(jiān)控的業(yè)務(wù)?

倪浩:阿里云未來是容許用戶在阿里的平臺上提供云盾和云監(jiān)控的業(yè)務(wù),模式是會是和云市場合作。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點(diǎn)擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多