|
大規(guī)模的容器技術(shù)運(yùn)用從來不是一項(xiàng)獨(dú)立工程，而是一個(gè)匯集虛擬化技術(shù)、容器編排、任務(wù)調(diào)度、操作系統(tǒng)、容器倉庫、跨節(jié)點(diǎn)網(wǎng)絡(luò)、分布式存儲(chǔ)、動(dòng)態(tài)擴(kuò)縮、負(fù)載均衡、日志監(jiān)控、故障自恢復(fù)等系統(tǒng)性難題的復(fù)雜有機(jī)體。隨著Docker的誕生和Google等互聯(lián)網(wǎng)公司的推波助瀾，這個(gè)領(lǐng)域出現(xiàn)了一大批優(yōu)秀的開源項(xiàng)目，它們在簡化容器技術(shù)使用成本的同時(shí)，也經(jīng)常使得剛剛接觸容器時(shí)間不太長的開發(fā)者和企業(yè)用戶感到不知所措。 將知識分類是梳理零散信息的一種有效方式。對于容器技術(shù)的生態(tài)圈來說，其中涉及領(lǐng)域眾多，有的項(xiàng)目橫跨多個(gè)細(xì)分領(lǐng)域，有的項(xiàng)目則是針對特定場景需求定制的，難以對其功能類型做精確定義。不過，若僅考慮通用領(lǐng)域里的相關(guān)產(chǎn)品和工具，大致來說可以劃分成14種主要類別。
以下將圍繞容器生態(tài)，分別舉例介紹這些類別中的典型開源項(xiàng)目，以及部分雖未開源但比較常用的100個(gè)周邊產(chǎn)品。 1. 容器引擎容器引擎是容器集群生態(tài)圈的核心部分，它是與內(nèi)核Namespace和CGroup等功能直接交互，并提供相應(yīng)API使得外部能夠與之集成的工具或服務(wù)。Docker無疑是目前為止最成功、廣泛最使用的容器引擎之一。實(shí)際上從1.12版本以后，Docker的容器化功能已經(jīng)由獨(dú)立的項(xiàng)目RunC來實(shí)現(xiàn)，但Docker仍作為一個(gè)開源產(chǎn)品為用戶提供完整的容器化解決方案。此外，社區(qū)中還有許多容器引擎項(xiàng)目，例如：
這些項(xiàng)目只是眾多支持不同平臺(tái)和具有不同特性的容器引擎的冰山一角。例如Google曾經(jīng)主導(dǎo)的lmctfy（http:///）項(xiàng)目也是個(gè)十分優(yōu)秀的容器引擎，然而該項(xiàng)目自2015年以后就不再被維護(hù)了。而最近Google剛剛開源的gVisor則是該領(lǐng)域中的新秀。另外值得一說的是，Hyper采用虛擬機(jī)的方式對環(huán)境進(jìn)行隔離，并不是一種基于容器的隔離方案，但它能很好地與Docker或Kubernetes等容器集群技術(shù)相結(jié)合，取代其環(huán)境隔離的功能，因此也歸屬此列。 2. 監(jiān)控和數(shù)據(jù)收集由于容器基于內(nèi)核的特殊隔離方式，對容器性能和狀態(tài)的監(jiān)控與虛擬機(jī)存在一些差別。傳統(tǒng)的虛擬機(jī)監(jiān)控工具，例如Nagios和Zabbix等，對容器監(jiān)控的原生支持并不十分易用。而一些新起的開源項(xiàng)目對這種場景具有更友好的體驗(yàn)，例如：
其中的TICK-Stack指的是Influxdata推出的Telegraf、InfluxDB、Chronograf、Kapacitor四款開源工具，不過從1.0以后，這些工具在開源版基礎(chǔ)上提供了企業(yè)版本，后者提供了例如高可用、云端存儲(chǔ)等企業(yè)級功能。 3. 容器管理和界面工具可視化是用戶友好性十分重要的一部分，Shipyard和Decking是Docker早期時(shí)十分受歡迎的可視化工具，之后Docker也收購了Kitematic作為官方的容器管理UI。但隨著容器應(yīng)用集群化，早期的UI工具不再流行，一些針對特定集群平臺(tái)定制的新型管理UI開始出現(xiàn)。例如Kubernetes官方推出了Dashboard項(xiàng)目用于可視化的管理集群，Cockpit則是紅帽公司推出的Kubernetes集群管理界面。以下是其中一些開源的容器管理UI項(xiàng)目：
4. 基礎(chǔ)設(shè)施集成容器集群的實(shí)施是需要以硬件基礎(chǔ)設(shè)施作為依托的，有些輔助工具能夠簡化這個(gè)過程。這些項(xiàng)目往往與具體的底層平臺(tái)相關(guān)，例如：
Nova-docker和Magnum都是在OpenStack集成容器集群的項(xiàng)目，不過目前OpenStack官方正在嘗試通過讓Kubernetes直接創(chuàng)建虛擬機(jī)的方式來統(tǒng)一它在IaaS層和CaaS層的差異，其中的Nova-docker已經(jīng)被廢棄了。Machine是Docker公司推出的基礎(chǔ)設(shè)施管理工具，Boot2Docker曾經(jīng)是在Windows和Mac上使用Docker的官方方案，但隨著Docker 1.12版本發(fā)布了多種操作系統(tǒng)的發(fā)行版后，已經(jīng)不再被推薦使用了。 5. 編排和調(diào)度編排和調(diào)度是容器集群的基本功能，因此選擇編排和調(diào)度工具實(shí)際上就是在選擇容器集群的方案。以下是一些開源的容器任務(wù)編排調(diào)度工具：
其中的OpenShift主要是指其3.0之后的發(fā)行版，它是紅帽公司基于Kubernetes二次開發(fā)的集持續(xù)集成和交付于一體的容器集群方案，具有開源和商業(yè)兩個(gè)版本。 6. 容器鏡像倉庫鏡像倉庫是基于容器的在軟件發(fā)布流程中必要的組成部分，Docker開源了其鏡像倉庫的最小實(shí)現(xiàn)，但對于企業(yè)級應(yīng)用來說，它缺少了高可用、權(quán)限控制、管理界面等必要功能。Docker Hub和國內(nèi)的許多容器云平臺(tái)都提供了公有云的企業(yè)級倉庫服務(wù)，社區(qū)中也有一些容器倉庫的開源或免費(fèi)的實(shí)現(xiàn)，例如：
其中的Nexus是一種通用的軟件包倉庫解決方案，支持包括Maven、NPM、PIP、RPM等許多主流打包格式的分發(fā)和管理，它是在3.0以后的版本中開始支持作為Docker鏡像倉庫的。VMWare推出的Habor是目前相對常用的企業(yè)級開源Docker倉庫解決方案。Portus和Docker Registry UI是基于官方Repository鏡像倉庫的界面化管理工具。Dragonfly是一款P2P協(xié)議的鏡像分發(fā)工具，并非直接提供鏡像存儲(chǔ)功能，但也屬于倉庫輔助類的工具。 7. 服務(wù)發(fā)現(xiàn)和容器域名服務(wù)服務(wù)發(fā)現(xiàn)和域名服務(wù)實(shí)際上是微服務(wù)架構(gòu)和容器集群的調(diào)度工具所需的組件，它們在容器集群中十分常見，也是這個(gè)生態(tài)圈中舉足輕重的一部分，以下是其中一些在實(shí)際工程中被提及較多的工具：
8. 容器日志收集處理和容器集群的監(jiān)控一樣，收集容器中的服務(wù)運(yùn)行日志與虛擬機(jī)中的方式同樣存在許多差異。目前Docker直接通過插件能夠支持的日志收集工具包括Rsyslog、Splunk和Fluentd，雖然FileBeat不在此列，但由于其小巧便捷的部署機(jī)制，也得到了許多用戶青睞。一些過去用于虛擬機(jī)的日志收集器，比如LogStash或Flume，同樣能夠使用與容器中的服務(wù)，但它們都不再是首選的方案。
ElasticStack是Beats、Logstash、ElasticSearch和Kibana四款開源項(xiàng)目的統(tǒng)稱，這是一套十分流行的日志匯聚、處理、存儲(chǔ)和展示的工具組合。其中的ElasticSearch和Kibana也可以與Fluentd配合，形成端到端日志處理方案。另外值得指出的是，Splunk并不是開源或免費(fèi)的，但它在企業(yè)級日志處理方案中的應(yīng)用十分廣泛。 9. 容器相關(guān)的系統(tǒng)發(fā)行版有些Linux發(fā)行版是為容器運(yùn)行而優(yōu)化的，Atomic和ClearLinux系統(tǒng)都屬于此類。另一些Linux發(fā)行版在設(shè)計(jì)之初就充分地將容器機(jī)制融入了系統(tǒng)的架構(gòu)理念，例如CoreOS。有的系統(tǒng)甚至將Docker作為系統(tǒng)的核心服務(wù)來管理其他用戶進(jìn)程，例如RancherOS和Hyper容器引擎所使用的操作系統(tǒng)。類似的項(xiàng)目還有許多，它們都是架設(shè)容器集群時(shí)十分稱手的基礎(chǔ)設(shè)施，例如：
10. 容器平臺(tái)容器平臺(tái)是大規(guī)模容器運(yùn)用的產(chǎn)物，它通常會(huì)與持續(xù)集成、持續(xù)交付的工具結(jié)合，成為連接上層應(yīng)用服務(wù)和底層基礎(chǔ)設(shè)施、幫助使用者快速實(shí)現(xiàn)從代碼提交到產(chǎn)品上線全過程的端到端交付過程。以下是其中一些相關(guān)的開源項(xiàng)目：
除了這些開源的容器平臺(tái)服務(wù)實(shí)現(xiàn)之外，互聯(lián)網(wǎng)上還有許多在線按量付費(fèi)的容器即服務(wù)平臺(tái)，它們也是整個(gè)容器集群生態(tài)的一部分。 11. 容器網(wǎng)絡(luò)容器技術(shù)在解決環(huán)境隔離和配額問題的同時(shí)，也引入了網(wǎng)絡(luò)層面的復(fù)雜性。由于使用了Network Namespace，每個(gè)容器都可以獲得獨(dú)立的IP地址，這對于單個(gè)主機(jī)的情況并無大礙，但對于容器集群的情況，IP地址的分配和互聯(lián)就成為了新的問題。因此在設(shè)計(jì)容器集群時(shí)，通常需要專門為網(wǎng)絡(luò)的連接方式加以考慮。常用的開源方案例如：
這些網(wǎng)絡(luò)方案大多采用了七層網(wǎng)絡(luò)的Overlay Network方式，也就是在容器之間通信的網(wǎng)絡(luò)包上封裝了用于路由尋址的額外包頭，這種方式會(huì)導(dǎo)致網(wǎng)絡(luò)通信效率的下降，具體影響程度與所封裝的額外數(shù)據(jù)大小有關(guān)。而Calico采用修改每個(gè)主機(jī)節(jié)點(diǎn)上的IPtables和路由表規(guī)則實(shí)現(xiàn)容器間數(shù)據(jù)路由和訪問控制，屬于三層網(wǎng)絡(luò)的方式，這種方案在節(jié)點(diǎn)規(guī)模不太大（最多幾百個(gè)節(jié)點(diǎn)）時(shí)的效率優(yōu)勢十分明顯，是一種比較受推薦的容器網(wǎng)絡(luò)工具。除了這些較常用的方案外，一些條件允許的企業(yè)也會(huì)結(jié)合MacVLAN等二層網(wǎng)絡(luò)方案實(shí)現(xiàn)容器的互聯(lián)，以獲得更好的網(wǎng)絡(luò)性能。 12. 容器安全容器安全性問題的根源在于容器和宿主機(jī)共用內(nèi)核，因此受攻擊的面特別大。另外，如果容器里的應(yīng)用導(dǎo)致Linux內(nèi)核崩潰，整個(gè)宿主機(jī)系統(tǒng)都會(huì)崩潰，這一點(diǎn)與虛擬機(jī)是不同的。此外，鏡像的安全性也是容器安全的一部分，如何保障用戶下載的鏡像是可信的、未被篡改過的，以及如何保證鏡像中不會(huì)意外包含具有大量漏洞的老舊軟件都是需要考慮的問題。目前這些安全課題主要在一些企業(yè)級應(yīng)用中引起較多重視，下面是一些相關(guān)的開源工具和項(xiàng)目：
13. 容器數(shù)據(jù)持久化容器是一種不可變的基礎(chǔ)設(shè)施，容器的數(shù)據(jù)應(yīng)該通過Volume的方式保存到外部的介質(zhì)上，容器持久化存儲(chǔ)本質(zhì)上就是要解決如何簡便地將外部存儲(chǔ)掛載到容器中使用的問題。Docker在1.9版本后提供了存儲(chǔ)的插件，這也為許多存儲(chǔ)方案提供了便利，以下列舉幾個(gè)例子：
其中Ceph是通用的網(wǎng)絡(luò)存儲(chǔ)工具，同時(shí)提供塊存儲(chǔ)和對象存儲(chǔ)能力，對容器化場景下的應(yīng)用數(shù)據(jù)持久化具有良好的支持。 14. 容器相關(guān)開發(fā)流程工具容器的鏡像可以被看作一種新型的應(yīng)用打包方式，因此容器常常與軟件的開發(fā)和持續(xù)集成、持續(xù)交付流程相結(jié)合，提供不同環(huán)境一致性部署能力。以下是一些利用容器改善軟件開發(fā)和交付的工具或平臺(tái)：
以上內(nèi)容節(jié)選自近期剛剛面市的新書《容器即服務(wù)：從零構(gòu)建企業(yè)級容器集群》，這是一本迄今為止最完整闡述容器集群技術(shù)及其周邊生態(tài)體系的著作。其作者是來自阿里巴巴的一線技術(shù)專家，也一名從Lxc-Docker（最早的Docker 0.x版本）時(shí)期就開始在項(xiàng)目中運(yùn)用容器的一線技術(shù)咨詢師，目睹了容器技術(shù)從興起到成熟的整個(gè)過程，在一次次的技術(shù)選型和實(shí)踐里，親身經(jīng)歷各類相關(guān)開源項(xiàng)目的大坑小洼，并多次在技術(shù)大會(huì)上進(jìn)行過演講分享（比較大型的會(huì)議包括2015年的CNut全球容器技術(shù)大會(huì)、2016年的CSDN架構(gòu)技術(shù)實(shí)戰(zhàn)峰會(huì)、2017年的CNut全球運(yùn)維技術(shù)大會(huì)等）。全書分為8個(gè)章節(jié)，不僅囊括當(dāng)前排名最靠前的4大主流開源容器集群方案，同時(shí)介紹了許多容器相關(guān)項(xiàng)目的技術(shù)選型和原理細(xì)節(jié)，具體目錄列舉如下：
學(xué)會(huì)一項(xiàng)技術(shù)很快，但學(xué)懂一門技術(shù)則需要時(shí)間的積累，做到知其然并知其所以然是一段辛苦而快樂的過程。愿《容器即服務(wù)：從零構(gòu)建企業(yè)級容器集群》能夠?yàn)槟愕娜萜鲗W(xué)習(xí)之路鋪上一塊穩(wěn)固的基石。 這本書目前已經(jīng)上市，在當(dāng)當(dāng)、亞馬遜等商城均可直接購買。同時(shí)歡迎對容器及研發(fā)效能有興趣的同學(xué)與我們聯(lián)系，阿里巴巴研發(fā)效能事業(yè)部期待你的加入，關(guān)注云效微信公眾號（ali_yunxiao）回復(fù)“招聘”加入我們。 ——粉絲福利—— 在企業(yè)級的容器應(yīng)用場景中，你有怎樣心得或者困惑，趕快微信圖文消息留言區(qū)互動(dòng)告訴我。本書作者林帆將在互動(dòng)區(qū)跟大家互動(dòng)溝通，其中點(diǎn)贊數(shù)最多的回復(fù)將獲得由作者簽名贈(zèng)送珍藏版《容器即服務(wù)：從零構(gòu)建企業(yè)級容器集群》書籍一本，限2人。
|
|
|
