2月2日，SDxCentral發(fā)布了2017下一代數(shù)據(jù)中心研究報告(2017 Next Gen Data Center Networking Report)。這份報告系統(tǒng)介紹了下一代數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展趨勢、關(guān)鍵功能、典型案例、行業(yè)標準以及熱門產(chǎn)品。

以下為脫水閱讀，需要完整英文報告的，請點擊閱讀原文。

Simplification, Standardization and Modularity

數(shù)據(jù)中心運營者希望能夠刪減那些不必要的路由/交換功能，利用標準服務(wù)器提供網(wǎng)絡(luò)優(yōu)化，采用較少商用芯片數(shù)量構(gòu)建更為簡單的網(wǎng)絡(luò)矩陣，同時將L4-L7的功能遷移到標準服務(wù)器上，這些需求，都與傳統(tǒng)廠商的理念背道而馳。

LinkedIn、Facebook、Microsoft、Google等巨頭已經(jīng)開啟模塊化數(shù)據(jù)中心Pod之路，每個Pod都包含了標準化的網(wǎng)絡(luò)架構(gòu)，大規(guī)模利用成本低廉的商品化交換機，芯片也切換到BCM、Marvell和一些新興芯片制造商(比如Barefoot、Cavium Xpliant和盛科)。

模塊化的節(jié)點更易部署和替換，也提升了橫向擴展能力，隨著這種云服務(wù)商的帶動，大型企業(yè)級市場也有這種趨勢。

Virtualization and Containers

在虛擬化和容器化盛行的時代，無論南北流量還是東西流量，都無法回避虛擬交換機的存在。人們希望虛擬交換機的支持，能像以前使用VLAN一樣簡單。

復(fù)雜的疊加網(wǎng)絡(luò)環(huán)境造成各種標簽混雜，比如來自與廣域網(wǎng)的MPLS鏈接很有可能就被ToR交換機給終結(jié)掉了。

Programmability

為滿足業(yè)務(wù)敏捷型和靈活性需求，網(wǎng)絡(luò)可編程能力必不可少。上層業(yè)務(wù)必須能夠?qū)崟r控制底層網(wǎng)絡(luò)，進行編排和優(yōu)化。無論這些業(yè)務(wù)采用基于XML/JSON的RESTful接口，還是用P4編程或者Openflow協(xié)議控制，都需要網(wǎng)絡(luò)設(shè)備本身能夠“被集成”，與數(shù)據(jù)中心融為一體。

如今已經(jīng)有越來越多的企業(yè)級網(wǎng)絡(luò)產(chǎn)品可以被云管理平臺(比如Openstack、VMware vRealize suite、Cloudstack)集成部署。網(wǎng)絡(luò)被系統(tǒng)配置管理是大勢所趨，甚至這種響應(yīng)被要求是實時的。

Automation and DevOps/NetOps

可編程性讓網(wǎng)絡(luò)集成到編排系統(tǒng)成為可能，但是系統(tǒng)需要被部署、被監(jiān)控、被更新，并非一勞永逸。傳統(tǒng)情況下，網(wǎng)工最愛命令行CLIs，很多廠商提供過圖形配置界面，但是很少能廣泛應(yīng)用的，大量的設(shè)備還是被“命令行”管理著。

但是，DevOps正在對網(wǎng)絡(luò)行業(yè)產(chǎn)生影響，或者說我們需要NetOps來拯救。基于自動化配置工具(Ansible/Puppet/Chef等)，網(wǎng)工們也可以像管理服務(wù)器一樣去管理網(wǎng)絡(luò)基礎(chǔ)設(shè)施了。

Improved Visibility and Troubleshooting

跨數(shù)據(jù)中心流量暴增以及Overlays的存在，讓網(wǎng)絡(luò)可視化變得尤為重要。可視化有理于快速定位網(wǎng)絡(luò)延遲或者洞察流量突發(fā)。還需要具備對流量數(shù)據(jù)的收集和分析能力，用于排障、優(yōu)化和安全防范，如果只有海量告警事件日志，那就只能抓瞎了。

另外，由于數(shù)據(jù)中心網(wǎng)絡(luò)正在演進為基于ECMP的leaf-spine三層Fabric，保障所有數(shù)據(jù)的可達性非常關(guān)鍵，不要讓“大象數(shù)據(jù)流”阻擋了“老鼠數(shù)據(jù)流”，“可視化”有助于讓我們了解整個交換矩陣發(fā)生了什么，甚至細化到每個交換機端口的緩存利用率。

Open Hardware Platforms

從成本和可配置性考慮，數(shù)據(jù)中心網(wǎng)絡(luò)運營者越來越關(guān)注白盒或者其他開放硬件平臺。有人相信，采用白盒，在硬件成本上可以節(jié)省30%-80%。由于這些白盒供應(yīng)商同時也為品牌交換機廠商提供OEM/ODM服務(wù)，所以產(chǎn)品品質(zhì)和可靠性不存在疑問。

時至今日，諸如EdgeCore等低成本白盒硬件供應(yīng)商值得考慮，但你需要找到成熟的軟件來支持。另外，像Dell、HPE和華為也提供白盒交換機，但是會提供他們自己的品牌軟件，這種模式被稱為“灰盒”(gray box)。

由純物理交換機/路由器組成，有主備或者雙A設(shè)計，以南北流量為主。

到了云時代，SDN和NFV參與進來，數(shù)據(jù)中心網(wǎng)絡(luò)的邊界定義被擴大，從服務(wù)器內(nèi)部的虛擬網(wǎng)絡(luò)到數(shù)據(jù)中心物理網(wǎng)絡(luò)，再到數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)。

在這樣的數(shù)據(jù)中心里，四個關(guān)鍵組件必不可少：

• 虛擬交換機：滿足服務(wù)器內(nèi)部vm和容器的交換需求。

• 網(wǎng)絡(luò)加速卡：智能網(wǎng)卡或加速器提供vSwitch卸載、安全以及存儲加速

• ToR與Leaf/Spine：兩層Clos架構(gòu)再次得到推廣，架構(gòu)開放，擴展性強。（雖然這種架構(gòu)早在1950年代就已經(jīng)在電話交換網(wǎng)中使用了），大量的商用套片和白盒被應(yīng)用在Leaf和Spine交換機中，降低成本，解決廠商鎖定。

• 數(shù)據(jù)中心互聯(lián)(DCI)：數(shù)據(jù)中心基于交換機就可以完成直連，DCI互聯(lián)模塊被直接集成到數(shù)據(jù)中心交換機上，比如100Gbps DWDM。L2 over L3的隧道技術(shù)也得到推廣應(yīng)用，還有我們不得不提的SDWAN。

Disaggregation and White box

解耦的意義包含兩層，第一層：控制平面與數(shù)據(jù)平面結(jié)構(gòu)，這是SDN的范疇；第二層：網(wǎng)絡(luò)硬件與軟件解耦，這是白盒和ONIE的范疇。

白盒交換機采用的商用套片通常來自于Broadcom(目前主流芯片如Trident II, Trident II , Tomahawk等等)，這類白盒基于ONIE標準提供一個交換機啟動環(huán)境，最終用戶可以選擇安裝交換機OS，如 Big Switch的ONL、Apstra的Apstra OS、Cumulus Linux等等。

為保證網(wǎng)絡(luò)與數(shù)據(jù)中心集成和可編程性，這些OS還提供了相應(yīng)接口，包括OF-DPA (OpenFlow Data Plane Abstraction)、OpenNSL (Open Network Switch Layer) 以及 SAI (Switch Abstraction Interface)。前兩個接口標準主要綁定Broadcom，而SAI出身于OCP，支持多個廠商的芯片(Broadcom, Cavium, Mellanox, Centec、Barefoot)。

在交換機OS之上，還有諸多為交換機管理和轉(zhuǎn)發(fā)功能定制的“插件”，比如開源三層路由代碼Quagga和BIRD，以及Facebook出品的FBOSS、微軟Azure出品的SNOiC，開放的世界很精彩。

解耦的白盒陣營與傳統(tǒng)的交換機貴族Cisco、Arista、Junper、Brocade還有很長的博弈時間，但是我們看到，戴爾、HPE、華為已經(jīng)開始銷售開放網(wǎng)絡(luò)平臺（灰盒）。而新進玩家Cumulus、EdgeCore、Pica8和其他ODM廠商也在努力推動白盒產(chǎn)業(yè)。

在OCP的推動下，新供應(yīng)商們正在給市場帶來更具性價比、更高性能的硬件產(chǎn)品，而開源團體也會在軟件上持續(xù)努力，用廉價的開放產(chǎn)品去替代企業(yè)級市場那些高價貨！

Virtualization, Overlays and OpenStack

雖然Facebook聲明他們的業(yè)務(wù)并不需要Overlays和計算虛擬化，(他們的應(yīng)用被設(shè)計運行的物理服務(wù)器上)，但是Amazon、Google和Microsoft卻是虛擬化和容器化的重度使用者。

在重度虛擬化應(yīng)用場景，vSwitch必須保持高性能（基于硬件加速、DPDK、FDiO VPP等等），同時還需要支持Overlay的終結(jié)，VXLAN應(yīng)該作為架頂交換機(ToR)的必選項：實現(xiàn)Overlays流量可視化、在VM和物理機混合接入環(huán)境下提供VTEP能力等等。

對于下一代數(shù)據(jù)中心網(wǎng)絡(luò)來說，另一個重要考量是支持以O(shè)penstack為代表的CMP(cloud management platform)平臺，提供部署、監(jiān)控、管理接口，對于企業(yè)級運行環(huán)境，還應(yīng)該支持VM熱遷移的集成接口。

2-stage Leaf-spine Clos-Fabrics with ECMP and Pods

現(xiàn)代數(shù)據(jù)中心已經(jīng)從老式胖樹架構(gòu)進化到兩級L3 Leaf-spine Clos矩陣，基于ECMP提供多路徑流量分擔(dān)。這種架構(gòu)拋棄了大型的機箱式核心交換機，用簡單的Leaf-spine交換機實現(xiàn)部署低成本、高靈活。連老牌廠商Cisco、Juniper、Arista也開始擁抱Leaf-Spine，積極在企業(yè)級數(shù)據(jù)中心市場進行鼓吹推廣。

而在全球最大的一些數(shù)據(jù)中心里面，Clos結(jié)構(gòu)的網(wǎng)絡(luò)被打包在“Pod”里面，通過橫向擴展?jié)M足Pod巨量的連接需求(參見下文Facebook的Altoona數(shù)據(jù)中心)。

然而leaf-spine架構(gòu)也有不爽之處，首先Leaf和Spine之間需要大量的網(wǎng)絡(luò)連接，線纜維護復(fù)雜，替換和新增spine的時候，工作量是巨大的。其次，基于L3技術(shù)，VLAN受到Leaf交換機的限制，導(dǎo)致VM移動性不佳，這就必須依賴VXLAN之類的Overlay技術(shù)去解決，會增大開銷。

由于Leaf和Spine之間的海量連接，要進行監(jiān)控和排錯很難，微軟在其Azure數(shù)據(jù)中心里，采用了一種全量ping測試，被稱為PingMesh。PingMesh本質(zhì)上講是一種強力的在所有端點之間運行Ping測試的方式，可視化的去顯示任意兩個端點之間的連接狀況。

PingMesh已經(jīng)在微軟數(shù)據(jù)中心運行多年，每天要產(chǎn)生超過兩千億次探測。

SDN, Policy and Intent

當(dāng)今數(shù)據(jù)中心網(wǎng)絡(luò)之復(fù)雜，僅靠人肉運維是不可能的，SDN作為自動化工具，流行起來順理成章。大型數(shù)據(jù)中心(如Goole和微軟)，無論內(nèi)部還是外部，都有各種形態(tài)的SDN存在，Goolge的 B4廣域網(wǎng)，就是SDN最典型的案例之一。

在以云計算為核心的生產(chǎn)環(huán)境中，傳統(tǒng)手工作坊式的網(wǎng)絡(luò)配置、參數(shù)修改如同杯水車薪，應(yīng)用需要基于CMP來自動化部署系統(tǒng)、優(yōu)化參數(shù)，每個應(yīng)用都有不同的配置文件、需要特定的網(wǎng)絡(luò)支持以滿足時延、彈性等QoS要求。這些需求會被綁定成策略集，自動化完成下發(fā)和部署。

Cisco ACI就是一個策略化(Policy-based)處理網(wǎng)絡(luò)的商用案例，同樣，OpenDaylight和ONOS等SDN控制器的目標，也是在網(wǎng)絡(luò)部署中提供可編程策略。

基于策略分發(fā)，讓我們正在向“意圖型”網(wǎng)絡(luò)(intent-based networking)演進：只需要“告訴我你想得到什么”，而不是“告訴我具體怎么做”，剩下的，交給SDN去干。

也許這就是智能網(wǎng)絡(luò)的未來狀態(tài)，讓你從繁復(fù)的具體配置工作中解脫出來！

Big Data and Analytics

下一代數(shù)據(jù)中心網(wǎng)絡(luò)的典型應(yīng)用場景是大數(shù)據(jù)分析，戲劇性的是，網(wǎng)絡(luò)生成的數(shù)據(jù)流本身就是一個大數(shù)據(jù)用例。很多廠商和組織抓取這些數(shù)據(jù)，用于優(yōu)化和潛在安全分析，初創(chuàng)公司Pluribus和Big Switch都在兜售他們的數(shù)據(jù)監(jiān)控能力，而Cisco則推出了Tetration平臺用于網(wǎng)絡(luò)數(shù)據(jù)分析。

 A 6-Pack of Wedge, Firehose, Watchtower, Pluto, Saturn, Jupiter, Altair, Olympus and more

引領(lǐng)數(shù)據(jù)中心變革的，是那些別無選擇只能追求持續(xù)創(chuàng)新的互聯(lián)網(wǎng)企業(yè)，F(xiàn)acebook、Google、微軟、領(lǐng)英都在不斷努力，他們內(nèi)部的數(shù)據(jù)中心團隊驅(qū)動著從架構(gòu)、軟件、硬件全方位演進。

• Google

Google的數(shù)據(jù)中心已經(jīng)進化到第5代，從設(shè)計了卻沒用的“Firehose”，到“Watchtower”，再到 'Pluto' 和'Saturn'，直到今天使用的 'Jupiter'，最新保密設(shè)計并未對外公開。Google希望實現(xiàn)一個完整的內(nèi)置網(wǎng)絡(luò)的云基礎(chǔ)設(shè)施，作為一個單元來設(shè)計。其目標是打造超過10000臺Server的超級集群，將資源利用率發(fā)揮到極致。

• LinkedIn

LinkedIn的網(wǎng)絡(luò)團隊對自己的Altair項目和Falco項目非常自豪。Falco項目其實是基于BCM Tomahawk芯片打造的交換機，該交換機被命名為“鴿子”，提供3.2Tbps交換能力，可以作為Leaf或者Spine使用?！傍澴印边\行基于Linux的軟件系統(tǒng)，并集成了一大宗監(jiān)控和管理工具。Altair項目則是一個大規(guī)?？缮炜s的數(shù)據(jù)中心網(wǎng)絡(luò)Fabric，用于替換傳統(tǒng)網(wǎng)絡(luò)。

• Facebook

Facebook是開放計算硬件的領(lǐng)導(dǎo)者，他們發(fā)起了的OCP，并貢獻了Wedge和6-pack。

Wedge是一款ToR交換機，有40G和100G兩種規(guī)格，全部貢獻給了OCP項目，并且目前兩款硬件都可以從第三方供應(yīng)商EdgeCore買到。

6-pack是Facebook發(fā)布的開放式模塊化交換機平臺，它以Wedge為基本構(gòu)件，是一個全網(wǎng)狀且無阻斷的兩級（two-stage）交換機，內(nèi)含12個獨立的交換組件，每個組件的交換容量為1.28Tbps。每個組件也運行自己的操作系統(tǒng)，從交換、主板控制，到冷卻系統(tǒng)都是獨立的。這代表用戶能夠在不影響整體系統(tǒng)或軟/硬件的前提下更改系統(tǒng)的任何部份，并藉由獨特的雙背板解決方案來打造無阻斷的拓撲結(jié)構(gòu)。

在數(shù)據(jù)中心層面，F(xiàn)acebook設(shè)計了Pod級別的模塊——Altoona。Altoona設(shè)計可借鑒之處在于，你可以使用小型開放交換機構(gòu)建你的數(shù)據(jù)中心，這個架構(gòu)可以讓你擴展到任何規(guī)模，而不需要改變基本構(gòu)建塊。

• Microsoft Azure

微軟Azure的網(wǎng)絡(luò)廣泛使用了SDN技術(shù)，每個Azure節(jié)點都是用了基于FPGA的網(wǎng)絡(luò)加速卡——Azure Smart NIC，用來加速流處理、存儲進程、QoS以及加解密。Azure使用SDN控制每塊加速卡上的流表和規(guī)則，保障Azure節(jié)點的高性能吞吐。

微軟同時也在云交換機領(lǐng)域也在驅(qū)動創(chuàng)新，是SAI和SONiC(Software for Open Networking in the Cloud)的應(yīng)用先鋒。SONiC是一個網(wǎng)絡(luò)軟件組件集合，包含了交換機常備的BGP、ECMP、LLDP等功能，得到了大量硬件供應(yīng)商的支持，這里面包括了Arista(微軟是A公司最大的客戶之一)、BigSwitch、Dell、Mellanox，以及芯片廠商BCM、Cavium和盛科。

Linux Foundation and its associated projects

項目很多，就不一一詳述了，統(tǒng)一列在這里

Open Compute Project (OCP) and Telecom Infra Project (TIP)

下一代數(shù)據(jù)中心網(wǎng)絡(luò)最主要的推動者就是OCP，該項目由Facebook發(fā)起，目前獲得了業(yè)內(nèi)廣泛的支持。從互聯(lián)網(wǎng)巨頭LinkedIn、 Microsoft、Google，到運營商AT&T、Fidelity和DT 再到設(shè)備商Cisco、Dell,、Huawei、HPE、Intel、 Ericsson等等。下圖為OCP白金會員列表。

OCP是數(shù)據(jù)中心關(guān)鍵硬件方案之家，包括高密度機架(Open Rack)、服務(wù)器(Microsoft  OpenCloudServer和Facebook Yosemite)、網(wǎng)絡(luò)平臺(Wedge 40 100 6-pack)。OCP還是ONIE、ONL、SAI、SONiC這些核心網(wǎng)絡(luò)軟件項目的老巢。

作為OCP的補充，F(xiàn)acebook在2016年又成立了TIP項目(Telecom Infra Project)，推動運營商基礎(chǔ)設(shè)施的變革和演進，替換傳統(tǒng)網(wǎng)絡(luò)架構(gòu)。TIP的成員包括Intel、Nokia、德電、SK電信、沃達豐、 T-Mobile以及思科Juniper等。

最后這部分我認為是SDxCentral為其贊助商提供的廣告展示區(qū)，簡單羅列一下——