豐色 整理自 凹非寺
量子位 | 公眾號 QbitAI

眼下，“預(yù)訓(xùn)練大模型是AIGC時代的基座”這一觀點已成業(yè)界共識。

但訓(xùn)練一個千億參數(shù)規(guī)模的大模型，還面臨很多挑戰(zhàn)。

在中國AIGC產(chǎn)業(yè)峰會現(xiàn)場，智譜AI CEO張鵬就指出，在這方面我們至少面臨三大挑戰(zhàn)：

一是成本，如一個1750億參數(shù)的GPT-3就燒掉了1200萬美元（約合人民幣8300萬元）；

二是人力，一個谷歌PaLM-530B的作者列表就有近70人，而我國大模型人才還很欠缺；

三是算法，千億大模型訓(xùn)練過程極其不穩(wěn)定，一旦出現(xiàn)意外，成本和風(fēng)險都將額外增加，性能也無法得到保障。

因此，張鵬認(rèn)為：我們應(yīng)該多給國產(chǎn)從業(yè)者多一點耐心。

張鵬，畢業(yè)于清華大學(xué)計算機科學(xué)與技術(shù)系，現(xiàn)在是北京智譜華章科技有限公司(簡稱智譜AI)的CEO，公司成立于2019年，從那個時候，張鵬就帶領(lǐng)公司瞄向“讓機器像人一樣思考”的愿景奮斗。幾年來，公司連續(xù)發(fā)布了GLM系列大模型、ChatGLM、CodeGeeX代碼大模型等，已經(jīng)成為國內(nèi)最早也是最有大模型研發(fā)經(jīng)驗的企業(yè)之一。

在本次大會上，除了關(guān)于預(yù)訓(xùn)練大模型本身的思考，張鵬介紹了智譜AI在該領(lǐng)域的最新研發(fā)和落地進展，包括：

（1）可與GPT-3基座模型對標(biāo)的GLM-130B

（2）只用單個GPU就能跑起來的ChatGLM-6B，全球下載量超過100萬

（3）每天幫助程序員“編寫”超過400萬行代碼的輔助編程工具CodeGeeX等

為了完整再現(xiàn)這些精彩內(nèi)容，在不改變原意的基礎(chǔ)上，量子位對其演講進行了編輯整理。

中國AIGC產(chǎn)業(yè)峰會是由量子位主辦的行業(yè)峰會，近20位產(chǎn)業(yè)代表與會討論。線下參與觀眾600 ，線上收看觀眾近 300萬，得到了包括CCTV2、BTV等在內(nèi)的數(shù)十家媒體的廣泛報道關(guān)注。

演講要點：

• 預(yù)訓(xùn)練大模型是新一代人工智能應(yīng)用的基礎(chǔ)設(shè)施。

• 訓(xùn)練高精度千億中英雙語稠密模型，對大模型研究和應(yīng)用有重大意義。

• 訓(xùn)練千億大模型的成本高昂，比如1750億參數(shù)的GPT-3總成本就達1200萬美元。

• 常見的千億級模型訓(xùn)練數(shù)據(jù)量巨大，訓(xùn)練周期又很長，在這之中不可避免會有各種各樣的意外發(fā)生。所有這些意外都會帶來額外的成本和風(fēng)險，以及不可預(yù)測的模型性能下降。

• 開源對話模型ChatGLM-6B僅僅62億參數(shù)，可以在單個GPU上運行起來，意味著稍微好一點的筆記本帶的顯卡就可以。

• 大模型的智能涌現(xiàn)仍未看到極限……

• 對于目前的GPT-4，人類至少在考試上已經(jīng)考不過它了。

以下為張鵬演講全文：

預(yù)訓(xùn)練大模型是AIGC時代的基座

AIGC時代的基座到底是什么？

我相信所有人肯定會說是預(yù)訓(xùn)練大模型。

所謂基座即基礎(chǔ)設(shè)施，為什么它能夠成為基礎(chǔ)設(shè)施？

有兩點原因。

第一，這樣的大模型能夠提供非常強大的通用泛化能力，可完成多場景任務(wù)，降低成本、提高效率，這是非常關(guān)鍵的特性。

第二，模型本身的規(guī)模達到一定程度之后，就能允許我們在當(dāng)中融入更多的知識，包括跨模態(tài)的知識，使得模型能夠更好地模擬人的智能。

因此，相關(guān)的工作在過去幾年已經(jīng)成為整個行業(yè)的研究熱點，包括ChatGPT、SD（stable diffusion）等模型所帶來的生成能力，正是由于這樣的大模型的誕生所衍生出來的。

在這個過程中我們持續(xù)跟蹤技術(shù)前沿，也做了一些相關(guān)的工作，后面我們逐漸展開。

如今我們欣喜地觀察到，大模型能力正在涌現(xiàn)。

為什么量變會引起智能上的質(zhì)變？

過去幾年中，大家談大模型的摩爾定律，單模型參數(shù)量每年增長十倍甚至百倍。

現(xiàn)在，智能涌現(xiàn)程度也呈現(xiàn)摩爾定律，甚至以更高速度發(fā)展。

在這其中，訓(xùn)練高精度千億中英雙語稠密模型，對大模型研究和應(yīng)用有重大意義。

我們可以看到，過去三四年中，有很多人來做相關(guān)的探索和研究。

不光是國外，我們國內(nèi)有很多企業(yè)、很多研究團體也做了相關(guān)工作，每一個成功都是今天我們看到的成果的基石，一塊塊磚拼接成最終的基座。

ChatGPT讓大家覺得非常驚喜，實際上從基座GPT-3開始到現(xiàn)在經(jīng)歷兩年半時間，其中很多工作都是在發(fā)掘和誘導(dǎo)基座模型的智能能力。

比如SFT、RLHF等方法都是在誘發(fā)基座模型的能力，這些智能能力已經(jīng)存在于千億基座模型當(dāng)中。

那么，訓(xùn)練千億模型面臨的挑戰(zhàn)有哪些？

訓(xùn)練千億大模型的三大挑戰(zhàn)

第一是訓(xùn)練成本高昂。

比如訓(xùn)練1750億參數(shù)的GPT-3，用到了上萬塊V100，機時費用是460萬美元，總成本可達1200萬美元。

第二是人力投入極大。

像谷歌PaLM 530B團隊，前期準(zhǔn)備29人，訓(xùn)練過程11人，整個作者列表68人，但我國能做大模型的人才不足百人。

光是組建這樣一個知識密集型團隊還不夠，還需要成員之間非常緊密的合作。

第三是訓(xùn)練過程不穩(wěn)定。

常見的千億級模型訓(xùn)練數(shù)據(jù)量巨大，訓(xùn)練周期又很長，在這之中不可避免會有各種各樣的意外發(fā)生。

所有這些意外都會帶來額外的成本和風(fēng)險，以及不可預(yù)測的模型性能下降。

所以這方面我們也在一直努力和清華大學(xué)聯(lián)合研究，也提出了自己的一些創(chuàng)新，通過融合GPT和BERT兩種訓(xùn)練框架解決訓(xùn)練模型問題。

去年8月份，我們開源了1300億參數(shù)規(guī)模的雙語預(yù)訓(xùn)練模型GLM-130B。

它不僅英文不輸GPT-3，中文也超出同類模型。

與此同時，模型精度也提高了，還能夠通過量化壓縮加速等在低成本情況下跑起來。

大家知道訓(xùn)練大模型很貴，如何讓大家用較低的成本用起來，也是我們作為商業(yè)化公司來講要考慮的問題。

經(jīng)過我們的努力，不僅能夠讓運行成本降低75%，同時也會不損失任何的精度和推理的速度，最后還能適配國產(chǎn)化硬件，給大家提供更好的選擇。

所以這個開源項目受到全球關(guān)注，很多科研機構(gòu)、大學(xué)都來申請使用我們模型進行評測。

2022年11月，斯坦福大學(xué)大模型中心對全球30個主流大模型進行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。

在與OpenAI、谷歌大腦、微軟、英偉達、臉書的各大模型對比中，評測報告顯示GLM-130B在準(zhǔn)確性和公平性指標(biāo)上與GPT-3 175B (davinci) 接近或持平，魯棒性、校準(zhǔn)誤差和無偏性優(yōu)于GPT-3 175B。

GLM-130B是去年8月份的開源項目，9月份我們也開源了另外的項目——CodeGeeX。

我們專門針對開發(fā)者去設(shè)計了這樣一款大模型，提供相應(yīng)的服務(wù)，他們可以利用這個模型來寫代碼，提高他們的生產(chǎn)效率。

CodeGeeX每天線上幫助程序員用戶提供超過400萬行代碼的生成量，大家可以算算相當(dāng)于多少程序員的工作量。

就在今年3月份的時候，我們終于把GLM-130B升級到了我們自己的聊天對話模型ChatGLM。

這個模型已完成第一階段快速的內(nèi)測，有將近5000人的規(guī)模參與，引起很多關(guān)注。

在人類指令的意圖理解這方面它表現(xiàn)不錯，它會比較堅持地認(rèn)為它是一個AI機器人或者是某種人格的智能體，不會被用戶隨便混淆。

為了讓更多人加入到大模型體驗中來，我們把小一點規(guī)模的ChatGLM-6B，就是62億規(guī)模的模型進行了開源。

這個項目4天就獲得了6K star，昨天已經(jīng)超過2萬star，這是我們發(fā)布的開源項目中star數(shù)增長速度最快的。

△ 截至4月30日的熱度

這個項目為什么引起大家的熱捧？

因為模型規(guī)模僅僅62億參數(shù)，可以在單獨一張GPU上就可以運行起來，也就意味著稍微好一點的筆記本帶的顯卡就可以把它跑起來。

甚至有人還在網(wǎng)絡(luò)平臺直播怎么玩這個模型，怎么跑這個模型，非常有意思。

業(yè)界也做了評測，與GPT-3.5、GPT-4平行評測，包括關(guān)于安全性方面測，結(jié)果發(fā)現(xiàn)ChatGLM模型穩(wěn)定性不錯，安全性也還行。

大模型的智能涌現(xiàn)仍未看到極限

基于以上模型，我們提供商業(yè)化的服務(wù)方式，我們稱之為Model as a Service（MaaS）。

它有多種服務(wù)方式，包括端到端的模型訓(xùn)練服務(wù)，從開始訓(xùn)練到最后應(yīng)用的開發(fā)和集成都囊括。也可以像OpenAI一樣，提供API調(diào)用服務(wù)，也可以把模型以商業(yè)應(yīng)用的方式提供給大家來進行使用，最后還能幫助大家去開發(fā)一些創(chuàng)新的應(yīng)用。

在這樣的理念下，我們提供BigModel.ai的開放平臺，上面有解決方案、產(chǎn)品、好玩的demo、生成內(nèi)容、API請求入口，大家可以了解一下。

具體介紹幾個產(chǎn)品。

在座有沒有程序員？

程序員非常喜歡這樣的工具（CodeGeeX），提升大家的工作效率，而且這個工具是免費的，所以大家盡管去試，盡管去用。

其次，文字工作者們也可以用這樣的輔助寫作工具（寫作蛙），完成營銷文案、社交媒體內(nèi)容，或者做細(xì)分場景劃分，比如可以用他來寫一封給我孩子的信，讓他帶到學(xué)校去，在老師同學(xué)們面前念出來，我覺得寫得比我自己寫的好。

在聊天的場景下（小呆）我們也可以讓它去扮演某一種角色每天跟你聊一會兒，安慰你的心靈，或者你喜歡一個可愛的女朋友，你可以設(shè)定一下跟你聊一聊。

商業(yè)落地方面，如美團電商平臺，用我們大模型提升廣告推廣以及提高客戶服務(wù)場景下的任務(wù)的性能；世界杯期間我們也服務(wù)了特殊的人群——聽障人士，用手語方式現(xiàn)場實時直播，關(guān)愛聽障人士。

未來，大模型能幫大家做很多事情，包括工作、生活甚至創(chuàng)新范式，大模型的快速進步給實現(xiàn)通用人工智能（AGI）帶來了曙光。讓我們一起多一些期待，多一點耐心，一起擁抱這個偉大的AI時代，謝謝大家。