虛擬的網(wǎng)絡世界都是以現(xiàn)實世界為基礎的。當我們?yōu)g覽網(wǎng)站、發(fā)送郵件、上傳視頻灌水論壇時,這些數(shù)據(jù)都將流經占地面積超過足球場的數(shù)據(jù)中心。數(shù)據(jù)中心內成千上萬臺服務器每秒鐘消耗的能源都非常驚人。全世界所有的數(shù)據(jù)中心消耗的能源總和約占全世界用電量的2%,如果不加以控制,能源的消耗也將會如同互聯(lián)網(wǎng)使用一樣大爆發(fā)。所以,給數(shù)據(jù)中心能源消耗瘦身這一任務迫在眉睫。 好在近些年來出現(xiàn)了各種提升能源效率的方法,盡管數(shù)據(jù)中心的規(guī)模不斷擴大,但其總電能消耗已經趨于平和。數(shù)據(jù)中心的能源消耗標準衡量單位PUE(電力使用效率)受很多因素影響。一個典型的數(shù)據(jù)中心需要配備多種設備,比如水機組、冷卻塔、水泵、換熱器和控制系統(tǒng),每個設備都有各自的設置,并且它們相互影響、錯綜復雜。外加空氣溫度、風扇轉速等因素,整個系統(tǒng)的復雜度成為天文數(shù)字。我們簡單假設這個機房只有10套設備,每個設備有10組參數(shù),那就有10^10組配置參數(shù),即達到了百億級別。但真實環(huán)境下的可能配置項遠不止這些。 位于比利時數(shù)據(jù)中心的冷卻塔 谷歌在規(guī)劃數(shù)據(jù)中心的時候,都將數(shù)據(jù)中心的能源效率一并考慮。很久以前,谷歌就決定從頭開始自行設計和建設數(shù)據(jù)中心,以便于應用最先進的冷卻技術和運行策略。谷歌的數(shù)據(jù)中心盡可能采用先進的蒸發(fā)式冷卻和外部空氣冷卻來替代傳統(tǒng)的機械式冷水機。他們安裝了智能溫控和光控系統(tǒng),并重新設計電力布線。他們的定制化高性能服務器砍去了視頻卡等不必要組件,提高服務器的使用率,諸多的舉措都為了減少能源損失。 截至2014年春,谷歌數(shù)據(jù)中心的能耗只有業(yè)界平均水平的50%。那么,接下去的問題就是如何進一步瘦身。一位名叫Jim Gao的谷歌工程師,受到網(wǎng)上機器學習課程的啟發(fā),決心找出問題的答案。 機器學習的核心在于教會計算機如何從大量數(shù)據(jù)中自學知識,而不需要工程師開發(fā)代碼去告訴計算機這些知識。谷歌早已用機器學習來改善谷歌翻譯、圖像識別等產品。 數(shù)據(jù)中心內的水閥和壓力傳感器 Gao希望用“探索數(shù)據(jù)內部奧秘”的方法來幫助他更好地理解數(shù)據(jù)中心的海量信息。在日以繼夜地忙碌了6個月之后,他終于為數(shù)據(jù)中心內的所有組件搭建了一套概念證明模型。他說“這只是個非?;A的原型,用以證明我的想法是可行的,值得去繼續(xù)探索”。 最初的結果并不十分理想“第一次預測完全失敗”,Gao自己承認“model在預測PUE和我們的行為序列時表現(xiàn)的不好”。模型認為使得節(jié)能最大化的辦法是關閉整套系統(tǒng),然而這個建議對工程師們并沒有什么用。于是,Gao重新仿真運行,不斷調整模型使得其預測結果最接近有效的配置,這也意味著達到了節(jié)能最大化的目標。當他覺得自己的模型已經足夠準確之后,Gao發(fā)表了一份 白皮書 ,然后與駐場運維團隊一起實現(xiàn)此系統(tǒng)。 與此同時,谷歌的人工智能研究團隊DeepMind發(fā)表的一篇關于DQN的 論文 引起了不小的轟動,這是一個會玩Atari游戲的機器人,所有Atari游戲。訓練會玩一種游戲的模型是一回事,讓程序自學掌握所有的游戲的難度則有天壤之別。這是機器學習社區(qū)的一個重磅消息,當Gao聽聞此消息之后,他立即給DeepMind的領導Mustafa Suleyman寫了封郵件,主題為“機器學習+數(shù)據(jù)中心=搞一個大新聞?” Suleyman支持Gao的想法,DeepMind開始于Gao的數(shù)據(jù)中心智能化(DCIQ)團隊合作研發(fā)更穩(wěn)健和通用的模型。 Jim Gao在工作現(xiàn)場 18個月之后,他們合作研發(fā)的模型已經用在了多個系統(tǒng)中,并且使得冷卻系統(tǒng)減少了40%的能耗,總體能耗下降15%。DCIQ團隊認為這只是一些微不足道的成績,機器學習還能在這個領域發(fā)揮出更大的作用。谷歌的環(huán)保團隊希望模型能降低系統(tǒng)的碳排放量,硬件運維希望降低設備的故障率,平臺團隊更關心服務器的能源消耗。機器學習能幫助大家實現(xiàn)各自的愿望。 Gao說道“我們堅信我們正在做的工作可以造福所有人”。即將發(fā)布的第二本白皮書將會介紹更多關于DCIQ的細節(jié),也許對很多其他企業(yè)也會有幫助,比如發(fā)電廠、工廠等等。 |
|