![]() 艾倫人工智能研究所(AI2)提出了一種新的方法來(lái)激勵(lì)節(jié)能型的機(jī)器學(xué)習(xí)。
爆炸式增長(zhǎng):越來(lái)越多的研究人員對(duì)深度學(xué)習(xí)成本的不斷增長(zhǎng)發(fā)出了警告。2018年,OpenAI發(fā)表的一項(xiàng)研究顯示,每三到四個(gè)月,訓(xùn)練大型模型所需的計(jì)算資源就會(huì)翻一番。今年6月,另一項(xiàng)研究發(fā)現(xiàn),尤其是開(kāi)發(fā)大規(guī)模的自然語(yǔ)言處理模型,可能會(huì)產(chǎn)生令人震驚的碳排放。
這一趨勢(shì)源于研究圈不計(jì)成本的對(duì)極致技術(shù)的追求。例如,有一些排行榜會(huì)慶祝AI性能的突破,但它們很少提及這些漸進(jìn)式改進(jìn)的成本。通常,性能的線性增長(zhǎng)是通過(guò)資源的指數(shù)增長(zhǎng)來(lái)實(shí)現(xiàn)的。一位專(zhuān)家預(yù)測(cè),按照這個(gè)速度,到2025年,人工智能將占到世界用電量的十分之一。 馬太效應(yīng):這些統(tǒng)計(jì)數(shù)據(jù)不僅僅是從環(huán)境的角度考慮的。它們對(duì)AI領(lǐng)域的多樣性和進(jìn)步也有影響。產(chǎn)生顯著成果則需要絕對(duì)數(shù)量的資源,這些資源遠(yuǎn)非學(xué)術(shù)型人工智能實(shí)驗(yàn)室可比,并且多數(shù)屬于盈利性私營(yíng)公司。那么,這可能會(huì)將該人工智能領(lǐng)域的發(fā)展限制在更符合企業(yè)所推崇的短期項(xiàng)目上,而不是更有利于公眾的長(zhǎng)期進(jìn)展。 解決辦法:在一篇新的論文中,西雅圖AI2的研究人員提出了一種新的方法來(lái)緩解這種趨勢(shì)。他們建議,人工智能研究人員在公布AI結(jié)果的同時(shí)公布訓(xùn)練模型的財(cái)務(wù)和計(jì)算成本。作者希望,提高實(shí)現(xiàn)性能提升的透明度,將激勵(lì)更多的資金投入到高效機(jī)器學(xué)習(xí)算法的開(kāi)發(fā)中。 論文作者之一、AI2的首席執(zhí)行官奧倫·埃齊奧尼(Oren Etzioni)也認(rèn)為,出版物和會(huì)議的論文審稿人應(yīng)該獎(jiǎng)勵(lì)那些提高效率和準(zhǔn)確性的人。除非人們將效率指標(biāo)標(biāo)準(zhǔn)化,否則很難評(píng)估這種貢獻(xiàn)的重要性。 為什么是現(xiàn)在呢? 近年來(lái),企業(yè)的研究實(shí)驗(yàn)室在提高深度學(xué)習(xí)計(jì)算能力方面的投入大幅提升。但是奧倫希望AI領(lǐng)域的人能夠更多地意識(shí)到這種權(quán)衡。此外,投資于更高效的算法可以從可用資源中擠出更多的算力,并產(chǎn)生其他收益。這不是一個(gè)非此即彼的問(wèn)題:“我們只是想在這個(gè)領(lǐng)域取得更好的平衡?!?/span> |
|