|
、 谷歌又出手了。又是一個(gè)大招。（上一個(gè)在此） 這次谷歌傳奇Jeff Dean親自在推特上連發(fā)10條，滿懷激動(dòng)地對(duì)外宣布著這個(gè)消息：谷歌TPU正式對(duì)外開放。這也是谷歌TPU首次對(duì)外全面開放。 顯而易見，AI芯片和公有云市場(chǎng)將迎來(lái)新的變局。 之前英偉達(dá)的黃仁勛在談到谷歌TPU時(shí)，就曾強(qiáng)硬的表示，對(duì)TPU的威脅不以為然。當(dāng)時(shí)，老黃還列了列參數(shù)：新的TPU可以實(shí)現(xiàn)45 teraflop的運(yùn)算能力，而英偉達(dá)最新的Volta GPU則能達(dá)到120 teraflop。 但如果你關(guān)注人工智能，肯定知道TPU的威力。谷歌搜索、翻譯、相冊(cè)等應(yīng)用，都有TPU在提供AI加速。更值得一提的是，AlphaGo也是借力TPU，稱霸圍棋界。 而且谷歌這款芯片還專門對(duì)AI進(jìn)行了優(yōu)化。 谷歌在官方博客中表示，在新發(fā)布的Cloud TPU幫助下，不到一天的時(shí)間，你就可以在ImageNet上把ResNet-50模型訓(xùn)練到75%的精度，成本不足200美元。 從現(xiàn)在起，每小時(shí)6.5美元，你也能用上谷歌TPU了。 理論上。 谷歌博客全文Google的機(jī)器學(xué)習(xí)利器Cloud TPU，從今天開始面向更多用戶開放了。 Cloud TPU今天發(fā)布了beta版，這一版本通過(guò)谷歌云平臺(tái)（Google Cloud Platform, GCP）提供，想幫更多機(jī)器學(xué)習(xí)專家更快地運(yùn)行模型。 Cloud TPU是谷歌設(shè)計(jì)的硬件加速器，專為加速、擴(kuò)展特定的TensorFlow機(jī)器學(xué)習(xí)工作負(fù)載而優(yōu)化。 每個(gè)Cloud TPU包含4個(gè)定制化的ASIC，單塊板卡的計(jì)算能力達(dá)到每秒180萬(wàn)億次浮點(diǎn)運(yùn)算（180 teraflops），有64GB的高帶寬內(nèi)存。 這些板卡可以單獨(dú)使用，也可以通過(guò)超高速專用網(wǎng)絡(luò)連接起來(lái)，形成“TPU pod”。今年晚些時(shí)候，Google會(huì)開始通過(guò)GCP供應(yīng)這種更大的超級(jí)計(jì)算機(jī)。 Google設(shè)計(jì)Cloud TPU的目標(biāo)，是針對(duì)性地為TensorFlow工作負(fù)載提供一分錢一分貨的差異化性能，讓研究人員嫩更快地進(jìn)行迭代。 例如：
更簡(jiǎn)單的機(jī)器學(xué)習(xí)模型訓(xùn)練 過(guò)去，為定制ASIC和超級(jí)計(jì)算機(jī)編程需要深入的專業(yè)知識(shí)技能。相比之下，要對(duì)Cloud TPU編程，用高級(jí)TensorFlow API就可以了，Google還開源了一組高性能的云TPU模型實(shí)現(xiàn)，上手更簡(jiǎn)單：
Google在博客中說(shuō)，經(jīng)過(guò)對(duì)性能和收斂性的不斷測(cè)試，這些模型都達(dá)到了標(biāo)準(zhǔn)數(shù)據(jù)集的預(yù)期精度。 以后，Google會(huì)逐漸推出更多模型實(shí)現(xiàn)。不過(guò)，想要探險(xiǎn)的機(jī)器學(xué)習(xí)專家也可以用他們提供的文檔和工具，自行在Cloud TPU上優(yōu)化其他TensorFlow模型。 現(xiàn)在開始用Cloud TPU，等到今年晚些時(shí)候Google推出TPU pod的時(shí)候，訓(xùn)練的時(shí)間-精度比能得到驚人的提升。 在NIPS 2017上，Google曾宣布ResNet-50和Transformer兩個(gè)模型在完整TPU pod上的訓(xùn)練時(shí)間，都從大半天下降到了30分鐘以內(nèi)，不需要改動(dòng)任何代碼。 可擴(kuò)展的機(jī)器學(xué)習(xí)平臺(tái) 云TPU還簡(jiǎn)化了機(jī)器學(xué)習(xí)計(jì)算資源的規(guī)劃和管理： 你可以為團(tuán)隊(duì)提供最先進(jìn)的機(jī)器學(xué)習(xí)加速，并根據(jù)需求的變化動(dòng)態(tài)調(diào)整生產(chǎn)力。 你可以直接用經(jīng)過(guò)Google多年優(yōu)化的高度集成機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施，無(wú)需投入大量金錢、時(shí)間、專業(yè)人才來(lái)設(shè)計(jì)、安裝、維護(hù)現(xiàn)場(chǎng)機(jī)器學(xué)習(xí)計(jì)算集群，不用考慮供電、冷卻、聯(lián)網(wǎng)、存儲(chǔ)要求等問(wèn)題。 Google Cloud TPU經(jīng)過(guò)預(yù)先配置，不需要安裝驅(qū)動(dòng)程序，因此，也不用想方設(shè)法讓一大群工作站和服務(wù)器的驅(qū)動(dòng)程序保持最新。 和其他Google云服務(wù)一樣，有復(fù)雜的安全機(jī)制保護(hù)著你的數(shù)據(jù)。 Google說(shuō)要為客戶的每個(gè)機(jī)器學(xué)習(xí)負(fù)載提供最適合的云服務(wù)，除了TPU之外，他們還提供英特爾Skylake等高性能CPU，和包括英偉達(dá)Tesla V100在內(nèi)的高端GPU。 開始使用吧 Cloud TPU今天開始提供，數(shù)量有限，按秒計(jì)費(fèi)。每個(gè)Cloud TPU每小時(shí)6.5美元。 要使用beta版的Cloud TPU，需要填個(gè)表，描述一下你要用TPU干什么，向Google申請(qǐng)配額：https://services.google.com/fb/forms/cloud-tpu-beta-request/ Google說(shuō)，會(huì)盡快讓你用上Cloud TPU。 2月27日，Google還要開一場(chǎng)在線講座，再細(xì)致地談一談Cloud TPU。 在Google的博客文章中，提到了兩家客戶使用Cloud TPU的感受。 一家是投資公司Two Sigma。他們的深度學(xué)習(xí)研究現(xiàn)在主要在云上進(jìn)行，該公司CTO Alfred Spector說(shuō)：“將TensorFlow工作負(fù)載轉(zhuǎn)移到TPU上，大大降低了編程新模型的復(fù)雜性，縮短了訓(xùn)練時(shí)間?！?/p> 另一家是共享出行公司Lyft。深度學(xué)習(xí)正在成為這家公司無(wú)人車研究的重要組成部分。 更多關(guān)于Cloud TPU的信息，可以去官方網(wǎng)站看一看：https://cloud.google.com/tpu/ 何為TPU？TPU是Tensor Processing Unit的縮寫簡(jiǎn)稱，是一種ASIC（專用集成電路），也是Google自己開發(fā)的一款A(yù)I專用芯片，主要用于提高人工智能計(jì)算任務(wù)的執(zhí)行效率。 Google將其用在神經(jīng)網(wǎng)絡(luò)的推理環(huán)節(jié)，在此之前，業(yè)界通常在使用GPU加速的服務(wù)器上進(jìn)行。在TPU推出后，谷歌表示，這比直接使用GPU或基本的x86芯片速度快很多。 TPU通過(guò)兩個(gè)PCI-E 3.0 x8邊緣連接器連接協(xié)處理器，總共有16 GB/s的雙向帶寬。TPU消耗功率達(dá)40瓦，遠(yuǎn)高于PCI-E電源規(guī)格，可為8位整數(shù)運(yùn)算提供每秒92萬(wàn)億次的運(yùn)算，或?yàn)?6位整數(shù)運(yùn)算提供每秒23萬(wàn)億次的運(yùn)算。 在去年4月一篇有75位聯(lián)合作者的論文《In-Datacenter Performance Analysis of a Tensor Processing UnitTM》中，Google團(tuán)隊(duì)對(duì)TPU進(jìn)行了分析：與同期的CPU和GPU相比，可以提供15-30倍的性能提升，以及30-80倍的效率（性能/瓦特）提升。 第一代TPU被谷歌廣泛應(yīng)用在了AlphaGo、搜索、翻譯、相冊(cè)等背后的機(jī)器學(xué)習(xí)模型中，這為第二代TPU的迭代奠定了基礎(chǔ)。 值得一提的是，擊敗李世石的AlphaGo版本中，通過(guò)Google云，耗用50個(gè)TPU進(jìn)行計(jì)算；而到了擊敗柯潔的AlphaGo版本中，單機(jī)運(yùn)行，物理服務(wù)器上部署了4個(gè)TPU；最后在最新的AlphaZero版本中，則使用了5000個(gè)一代TPU和64個(gè)二代TPU，從0開始學(xué)習(xí)24小時(shí)候，就擊敗了國(guó)際象棋、將棋、圍棋等三個(gè)領(lǐng)域的世界冠軍。 第二代TPU 第二代TPU在去年5月18日的Google I/O 大會(huì)上推出，也稱為云TPU。云TPU對(duì)推理和訓(xùn)練都進(jìn)行了優(yōu)化。 Google大腦研究團(tuán)隊(duì)主管Jeff Dean表示：“我們的TPU擁有世界一流的ASIC設(shè)計(jì)團(tuán)隊(duì)，第二代TPU芯片采用了與第一代完全不同的設(shè)計(jì)架構(gòu),第一代芯片由于只進(jìn)行推理運(yùn)算所以體積較小，而在第二代芯片中我們加入了能滿足訓(xùn)練需求的硬件結(jié)構(gòu)，同時(shí)還考慮了如何將這些計(jì)算單元組合成大型系統(tǒng)的架構(gòu)方法?！?/p> 第二代TPU通過(guò)四個(gè)TPU芯片的組合板，可以實(shí)現(xiàn)180Tera次每秒用于深度學(xué)習(xí)訓(xùn)練和推理的浮點(diǎn)運(yùn)算，如果再將64個(gè)這樣的TPU系統(tǒng)板通過(guò)網(wǎng)絡(luò)連接起來(lái)，浮點(diǎn)性能可以達(dá)到驚人的11.5PFLOPS，遠(yuǎn)遠(yuǎn)超過(guò)世界上前五百超級(jí)計(jì)算機(jī)的算力。風(fēng)頭大大蓋過(guò)了同一時(shí)期Nvidia推出的Volta架構(gòu)GPU。 TPU 2和第一代不同的是，第一代選用了量化整數(shù)運(yùn)算，而第二代用的是浮點(diǎn)運(yùn)算。這樣一來(lái)你就不用把訓(xùn)練好的模型轉(zhuǎn)換使用量化整數(shù)做推理了。你直接用訓(xùn)練時(shí)用的浮點(diǎn)做推理就好，這樣實(shí)施起來(lái)也容易很多。 實(shí)際上，第二代TPU推出之時(shí)，也能看出Google在AI芯片方面的發(fā)展思路：并非為了與GPU直接競(jìng)爭(zhēng)，而是利用TPU在公有云行業(yè)差異化發(fā)展。 Google CEO皮查伊在I/O大會(huì)的主題演講中強(qiáng)調(diào)：“我們希望谷歌云成為機(jī)器學(xué)習(xí)領(lǐng)域最優(yōu)秀的云。這為重大進(jìn)步打下了基礎(chǔ)。” 為了使計(jì)算性能更強(qiáng)大，Google開發(fā)了訂制的超高速網(wǎng)絡(luò)，將64顆TPU連接至同一臺(tái)機(jī)器學(xué)習(xí)超級(jí)計(jì)算機(jī)。這臺(tái)超級(jí)計(jì)算機(jī)被稱作“TPU艙”，帶來(lái)了每秒11.5千萬(wàn)億次浮點(diǎn)運(yùn)算的能力，可用于訓(xùn)練單一的大型機(jī)器學(xué)習(xí)模型，或多個(gè)較小的模型。 為了證明TPU艙的性能，Google表示，如果想要訓(xùn)練最新的大規(guī)模翻譯模型，那么使用32顆全球最強(qiáng)大的商用GPU需要一整天時(shí)間。作為對(duì)比，TPU艙只需1/8的性能，就能在6小時(shí)內(nèi)完成對(duì)該模型的訓(xùn)練。 單個(gè)的云TPU和完整的TPU艙均支持谷歌開源的TensorFlow機(jī)器學(xué)習(xí)系統(tǒng)。 去年的Google I/O大會(huì)上，Google還發(fā)布了“TensorFlow研究云”。這是由1000顆云TPU組成的簇，在滿足某些條件的情況下Google將免費(fèi)提供給研究者使用。如果希望使用，那么研究者必須同意公開發(fā)表研究成果，或許還需要開源研究中的相關(guān)代碼。 而對(duì)參與非公開研究的人士，Google計(jì)劃啟動(dòng)云TPU Alpha項(xiàng)目，而現(xiàn)在，更加宏偉的計(jì)劃得以正式公開。 TPU往事 早在2006年，Google就在考慮為神經(jīng)網(wǎng)絡(luò)構(gòu)建一個(gè)專用集成電路（ASIC）。2013年這個(gè)需求變得更加緊迫，當(dāng)時(shí)Google意識(shí)到快速增長(zhǎng)的計(jì)算需求，可能意味著數(shù)據(jù)中心的數(shù)量需要翻番才能滿足。 通常而言，ASIC的開發(fā)需要耗時(shí)數(shù)年。但具體到TPU而言，從設(shè)計(jì)到驗(yàn)證、構(gòu)建和部署到數(shù)據(jù)中心里，只需要15個(gè)月。 具體TPU何時(shí)正式研發(fā)成功，并不得而知，但Google方面透露，從2015年開始就一直在內(nèi)部使用TPU，并在2016年5月的Google I/O開發(fā)者大會(huì)上，對(duì)外公布了TPU的存在。 另外還有個(gè)趣事。 最初參與TPU研究的10個(gè)人中，有8個(gè)工程師遭遇風(fēng)投挖角，創(chuàng)業(yè)成立了一家名為Groq的AI芯片公司，這家公司的創(chuàng)始人兼CEO是Doug Wightman，CTO是Jonathan Ross，COO則是原賽靈思(Xilinx)的營(yíng)銷副總裁Krishna Rangasayee。 挖角的風(fēng)投則是Social Capital創(chuàng)始人、首席執(zhí)行官Chamath Palihapitiya，他給了Groq團(tuán)隊(duì)上千萬(wàn)美元的啟動(dòng)資金。 Groq的AI芯片對(duì)標(biāo)英偉達(dá)的GPU，聲稱是專門為人工智能重新定制一款芯片，他們還打算在2018年發(fā)布第一代AI芯片產(chǎn)品。 留給Groq兌現(xiàn)承諾的時(shí)間不多了。 — 完 — 誠(chéng)摯招聘 |
|
|
來(lái)自： llvsh > 《深度學(xué)習(xí)》
