對于各種云平臺來講除了技術(shù)上的差異外,有一點(diǎn)是相同的,他們的資源都是部署在IDC機(jī)房和運(yùn)營商網(wǎng)絡(luò)上的。因此選擇一個(gè)穩(wěn)定的IDC和網(wǎng)絡(luò)供應(yīng)商來承載各自的云平臺是各云服務(wù)提供商的首要任務(wù)。

選擇運(yùn)營商骨干節(jié)點(diǎn)所在地區(qū)的IDC、網(wǎng)絡(luò)一般為單線,電信和聯(lián)通骨干節(jié)點(diǎn)所在地一般都是省會城市,IDC和網(wǎng)絡(luò)普遍具有以下特點(diǎn):

建設(shè)等級高,基礎(chǔ)設(shè)施好: 所建設(shè)的IDC等級相對較高,屬于運(yùn)營商4星級以上機(jī)房,電力、空調(diào)、柴發(fā)等基礎(chǔ)設(shè)施都具有N 1或N N的冗余,高可用性較好。一般不會因基礎(chǔ)設(shè)施問題導(dǎo)致云平臺服務(wù)小時(shí)級別的中斷。

運(yùn)維經(jīng)驗(yàn)豐富、運(yùn)維力量強(qiáng) :由于是骨干節(jié)點(diǎn),IDC和網(wǎng)絡(luò)的重要性較強(qiáng),運(yùn)營商會配備本區(qū)域最富有經(jīng)驗(yàn)的維護(hù)人員團(tuán)隊(duì),因此無論基礎(chǔ)設(shè)備問題還是網(wǎng)絡(luò)方面的問題,均可以得到比較迅速的定位或者協(xié)調(diào)資源來解決。

網(wǎng)絡(luò)接入層級高、擴(kuò)展方便 :網(wǎng)絡(luò)方面,骨干節(jié)點(diǎn)地區(qū)IDC一般一跳就會至省級或集團(tuán)骨干網(wǎng),甚至有的重點(diǎn)IDC核心設(shè)備直連骨干網(wǎng)C級設(shè)備。與其他地區(qū)相比減少了很多中間傳輸線路,降低了故障率且在帶寬擴(kuò)展性也非常的便利。

運(yùn)營規(guī)范、服務(wù)到位 :與其他地區(qū)相比運(yùn)營IDC的時(shí)間都比較長而且有比較規(guī)范和完善的SLA,在服務(wù)方面比較到位?？梢詾榭蛻羰s大量的前期溝通成本。

從客戶群體來看排名靠前的互聯(lián)網(wǎng)企業(yè)例如BAT等都在這些地區(qū)有大量的部署,經(jīng)過BAT對運(yùn)營商服務(wù)質(zhì)量、IDC基礎(chǔ)條件、運(yùn)營規(guī)范等方面的推動,運(yùn)營商在服務(wù)意思和安全防范上無論從橫向還是縱向來講都是比較領(lǐng)先的。 云部署在南京、上海、天津、廣州等地機(jī)房都屬于此類型的IDC,IDC和網(wǎng)絡(luò)運(yùn)行多年都非常平穩(wěn),每年基本可達(dá)到99.95%的可用率。

BGP機(jī)房和網(wǎng)絡(luò)的選擇

BGP網(wǎng)絡(luò)融合了三大運(yùn)營商甚至更多運(yùn)營商線路,既可以解決國內(nèi)運(yùn)營商之間互聯(lián)互通問題,也有效解決了有些業(yè)務(wù)對于多IP多線路架構(gòu)上的不支持。因此,對于用戶在不同時(shí)間段多運(yùn)營商無縫接入的手游等類型業(yè)務(wù)特別適合。但是因BGP網(wǎng)絡(luò)融合了多運(yùn)營商線路,故對于網(wǎng)絡(luò)故障率和故障后產(chǎn)生的影響都增大了很多,選擇一個(gè)比較靠譜的BGP機(jī)房和網(wǎng)絡(luò)非常重要!

對于BGP實(shí)現(xiàn)方式來講,國內(nèi)95%以上的BGP線路都不是全網(wǎng)穿透式BGP,一部分是與單個(gè)運(yùn)營商網(wǎng)內(nèi)BGP廣播互聯(lián),一般是與運(yùn)營商進(jìn)行靜態(tài)廣播完成的;有的線路是采用本地運(yùn)營商的資源,有的則是通過長途鏈路從外地引入至本地的。因此不同的方式、不同的線路資源對于網(wǎng)絡(luò)的可用性、價(jià)格都影響較大。云平臺對BGP機(jī)房和網(wǎng)絡(luò)的選擇主要注意以下幾個(gè)方面:

1.BGP機(jī)房的選擇——機(jī)房等級高、基礎(chǔ)設(shè)施有冗余

國內(nèi)目前有能力承建IDC并很好的對外服務(wù)的運(yùn)營商除三大基礎(chǔ)運(yùn)營商外,僅有世紀(jì)互聯(lián)、鵬博士、萬國數(shù)據(jù)等少數(shù)運(yùn)營商有實(shí)力。其他的二級運(yùn)營商一般都是租用或與基礎(chǔ)運(yùn)營商合作的方式來發(fā)展BGP機(jī)房業(yè)務(wù),為了降低成本有些運(yùn)營時(shí)間較久或建設(shè)等級不高的機(jī)房會推向市場。這些機(jī)房的基礎(chǔ)設(shè)施都比較老化甚至一些關(guān)鍵設(shè)施如UPS等都無冗余,運(yùn)營隱患非常大,因此在選擇BGP機(jī)房時(shí)要注意IDC運(yùn)營的年限、建設(shè)的等級和關(guān)鍵基礎(chǔ)設(shè)施的冗余。

2.BGP網(wǎng)絡(luò)的選擇——覆蓋好、本地線路資源

目前BGP網(wǎng)絡(luò)覆蓋全國資源較好的的確是北京,北京的基礎(chǔ)運(yùn)營商相對比較開放也是BGP網(wǎng)絡(luò)發(fā)展和運(yùn)營最好的地區(qū)。廣東地區(qū)發(fā)展次之。為保證BGP網(wǎng)絡(luò)的品質(zhì),最好選擇北京當(dāng)?shù)鼗A(chǔ)運(yùn)營商廣播接入的運(yùn)營商。二級運(yùn)營商為了節(jié)省成本或規(guī)避當(dāng)?shù)剡\(yùn)營商的接入限制,有些線路資源從河北等地調(diào)度至北京,或把北京等地的資源調(diào)度至外地使用。除了造成延時(shí)大增外,還會有長途鏈路傳輸上的不可靠等隱患。這些都可以通過網(wǎng)絡(luò)檢測工具ping、tracert路由分析來判斷線路資源是否屬于本地。

3.客戶群體高端或垂直,防Ddos攻擊能力強(qiáng)

BGP網(wǎng)絡(luò)因成本、資源等原因抗Ddos攻擊能力比較弱,目前行業(yè)內(nèi)BGP機(jī)房防Ddos的能力一般在5G左右,目前國內(nèi)的攻擊成本較低,因此現(xiàn)在網(wǎng)絡(luò)遭受Ddos等安全攻擊已成為常態(tài)。對于BGP運(yùn)營商來說機(jī)房內(nèi)客戶的規(guī)模和其業(yè)務(wù)的合規(guī)性對于減少Ddos攻擊數(shù)量有很大作用。

BGP的應(yīng)用

BGP是一種路由協(xié)議,目前internet上大型網(wǎng)絡(luò)或者機(jī)構(gòu)運(yùn)行的協(xié)議絕大多數(shù)都是BGP,他協(xié)議傳輸可靠,更新消耗小,而且具備豐富的路由選擇的策略,能夠支持?jǐn)?shù)十萬甚至百萬路由條路。因此在面臨多出口路徑選擇且路由條路眾多的情景,一般情況下都是選擇使用BGP協(xié)議。

由于國內(nèi)多運(yùn)營商的存在及互聯(lián)互通問題,很多公司基于業(yè)務(wù)的特點(diǎn)希望所在的數(shù)據(jù)中心網(wǎng)絡(luò)能夠覆蓋越多用戶越好,且希望架構(gòu)簡單。因此選擇多線路接入的BGP資源成為其必然選擇。就運(yùn)營商而言目前IDC出口類型主要分以下幾種:

第一種:靜態(tài)鏈路,通過靜態(tài)路由與運(yùn)營商互聯(lián),運(yùn)營商PE設(shè)備為城域網(wǎng)級別設(shè)備, 這種方式最簡單,而且價(jià)格便宜,一般為十幾元至一百多元每兆,缺點(diǎn)是:無法穿透其他運(yùn)營商且無法根據(jù)路由權(quán)值做路由選路策略。

第二種 : BGP廣播鏈路:與運(yùn)營商進(jìn)行對等互聯(lián)BGP連接,PE設(shè)備為骨干設(shè)備。 需要擁有自己的IP地址和AS號,優(yōu)勢是,可以接受運(yùn)營商的國內(nèi)所有路由及發(fā)送自己的公網(wǎng)業(yè)務(wù)路由,豐富路由策略權(quán)值做路由調(diào)整使用。 這種方式鏈路租費(fèi)和廣播費(fèi)用昂貴,且需要強(qiáng)大的運(yùn)營商關(guān)系。每兆價(jià)格在幾百元甚至千元。

第三種:靜態(tài)代播,靜態(tài)鏈路的衍生版本,通過靜態(tài)路由與運(yùn)營商互聯(lián),接入PE設(shè)備為城域網(wǎng)級別設(shè)備, 運(yùn)營商用靜態(tài)路由指入互聯(lián),并用OSPF重分布將靜態(tài)路由廣播至全網(wǎng),要求接入商必須有自己的ip地址。 此種方式在操作時(shí),在靜態(tài)鏈路的價(jià)格上還要付費(fèi)給運(yùn)營商IP廣播費(fèi)用一般為十幾至幾十元每IP、每月。此種方式也無法靈活的根據(jù)路由的權(quán)值做路由的選路。

各機(jī)房間采用BGP協(xié)議,方便路由靈活、敏捷的切換及多協(xié)議的擴(kuò)展。對于一些較為邊緣的機(jī)房則采用gre over ipsec的方式接入G云骨干網(wǎng)核心。G云機(jī)房還在根據(jù)業(yè)務(wù)的發(fā)展,與運(yùn)營商進(jìn)行BGP互聯(lián),建設(shè)自有的BGP出口資源。 由于BGP協(xié)議和資源使用方面相對都比較成熟了,相關(guān)的優(yōu)缺點(diǎn)和走過的艱辛就不在此多說,因此在此僅僅與大家分享一下機(jī)房之間gre over ipsec備份線路互聯(lián)時(shí)值得注意的點(diǎn):

1.MTU問題,機(jī)房間做了GRE IPSEC后,數(shù)據(jù)包頭大小是有變化的,需要考慮GRE和ipsec對包頭的大小的影響,因此在內(nèi)網(wǎng)傳輸數(shù)據(jù)或業(yè)務(wù)使用時(shí)一定要注意數(shù)據(jù)包分片問題,及時(shí)調(diào)整系統(tǒng)或者網(wǎng)絡(luò)設(shè)備的MTU值。

2.Ipsec加密對網(wǎng)絡(luò)設(shè)備是有消耗的,一般來說對數(shù)據(jù)進(jìn)行des加密,對于cisco3945E設(shè)備,其效率是3des的4倍,當(dāng)cisco 3945E運(yùn)行 IPsec時(shí);單向加或解密延時(shí)2.5ms,In Out加解密延5ms,兩端雙向10ms ,ciscoASR路由器IPsec無延遲。Cisco 3945E 采用ESP-DES加密時(shí)內(nèi)存占650M,CPU 50%。因此請大家在實(shí)施是根據(jù)數(shù)據(jù)中心在內(nèi)網(wǎng)中的定位和需求靈活的對設(shè)備進(jìn)行選型。

墨菲定律對運(yùn)維的啟示

二十世紀(jì)西方文化中最杰出的三大發(fā)現(xiàn)就是墨菲定律、帕金森原理、彼得定理了,其中墨菲定律的主要意思是只要事情存在問題,他總會發(fā)生。我和很多朋友在數(shù)據(jù)中心和網(wǎng)絡(luò)、系統(tǒng)崗位掙扎多年,對此感受頗深,也有相當(dāng)多的案例可以佐證。先說一個(gè)近期的案例,一朋友在機(jī)房搬遷時(shí),大部分工作都操作完畢,最后僅僅是Ddos安全設(shè)備未與安全同事確認(rèn)部署效果,加上連續(xù)奮戰(zhàn)太累就先回去休息了,以為安全攻擊是較小概率事件,因此即時(shí)有問題,下午也可以很快搞定。結(jié)果在上午休息過程中,該機(jī)房某款業(yè)務(wù)就遭受到數(shù)次了大流量Ddos攻擊,導(dǎo)致整機(jī)房業(yè)務(wù)受損嚴(yán)重。 近來的Ctrip事件、青云、阿里云運(yùn)營事件的產(chǎn)生從某種角度來說都有墨菲定律的影子。因此對于我們來講主要有以下啟示:

重視細(xì)節(jié)、重視流程

無論做變更操作還是版本發(fā)布及其他運(yùn)維操作,在細(xì)心的同時(shí)嚴(yán)格按照流程和規(guī)范操作,比如小到變更流程、回退操作,發(fā)布流程大到運(yùn)營管理和項(xiàng)目管理,使規(guī)范流程的意識深深的烙印在心里。無論是人為操作或者系統(tǒng)自動操作都有出紕漏的可能,按照規(guī)范流程操作可以有效的保護(hù)我們,使我們免于背負(fù)不必要的黑鍋。

要有樂觀積極心態(tài),千萬不能受負(fù)面情緒影響

在做運(yùn)維過程中,任何操作都是戰(zhàn)戰(zhàn)兢兢、小心翼翼,若沒有積極樂觀的心態(tài)和強(qiáng)大的自信心,估計(jì)做不了幾年運(yùn)維,精神上就無法負(fù)荷了,肯定會被壓垮,從而會導(dǎo)致更大的錯(cuò)誤出現(xiàn),乃至影響到自身的生活。因此,我們必須要有積極的心理暗示,強(qiáng)大的自信心來面對我們的工作,甚至客戶、老板,只有這樣才能在工作中游刃有余、穩(wěn)步推動。也希望各位做運(yùn)維的兄弟能夠團(tuán)結(jié)起來,進(jìn)行資源、信息、知識共享降低運(yùn)維的門檻。