背景：ChatGPT - 或許是2022年末開始至今最熱的新詞之一，這個(gè)詞匯如熱浪一般席卷大街小巷，充斥朋友圈和各大網(wǎng)站，它的爆火程度簡直讓人瞠目結(jié)舌。ChatGPT的炙手可熱點(diǎn)燃了全球AI的狂潮，讓曾經(jīng)有些冷清的AI領(lǐng)域重新燃起了昂揚(yáng)的風(fēng)帆。ChatGPT的驚世之舉，讓大家見識(shí)到通用人工智能的輝煌崛起，也讓AI在文本創(chuàng)作、摘要提煉、多輪對(duì)話甚至代碼生成等領(lǐng)域邁向了一個(gè)質(zhì)的飛躍。本文是從零開始了解AI大模型系列的技術(shù)篇（中），帶你走進(jìn)大模型的技術(shù)世界，聚焦在GPT自回歸大模型的演進(jìn)和技術(shù)。

GPT自回歸大模型的演進(jìn)和技術(shù)

GPT-1：筑基Decoder-only自回歸架構(gòu)，生成式預(yù)訓(xùn)練語言模型GPT的奠基者

GPT-1是GPT系列的第一個(gè)模型，它采用了12個(gè)Transformer模型的解碼器進(jìn)行堆疊，形成了一種預(yù)訓(xùn)練語言模型。由于Transformer解碼器的主要功能是在每次訓(xùn)練過程中生成一個(gè)單詞，因此GPT系列模型又被稱為“生成式預(yù)訓(xùn)練語言模型”。與其他預(yù)訓(xùn)練語言模型類似，使用GPT-1完成各種具體任務(wù)也需要經(jīng)過兩個(gè)步驟：預(yù)訓(xùn)練（Pre-Training）和微調(diào)（Fine-Turning）。

其涉及的關(guān)鍵理論和技術(shù)如下：

無監(jiān)督預(yù)訓(xùn)練：訓(xùn)練使用的數(shù)據(jù)都是自然文本數(shù)據(jù)，不需要人工針對(duì)不同任務(wù)對(duì)數(shù)據(jù)打標(biāo)簽，因此該過程叫作“無監(jiān)督預(yù)訓(xùn)練”。訓(xùn)練數(shù)據(jù)不需要人工標(biāo)注，這讓數(shù)據(jù)獲取的工作量大大降低，使搜集大規(guī)模高質(zhì)量的數(shù)據(jù)成為可能。

有監(jiān)督微調(diào)：GPT-1模型需要將待訓(xùn)練的分類文本打上相應(yīng)的標(biāo)簽，比如判斷文本的情感態(tài)度是積極的還是消極的，這往往需要用數(shù)字來表示態(tài)度類別。這一過程就是人工標(biāo)注，使用這種數(shù)據(jù)進(jìn)行訓(xùn)練，也被稱為“有監(jiān)督訓(xùn)練”。因此，微調(diào)過程也被稱為“有監(jiān)督微調(diào)”(Supervised Fine-Tuning，SFT)

黑板報(bào)劃重點(diǎn)-科普說人話：GPT-1是生成式預(yù)訓(xùn)練語言模型GPT的奠基者，筑基Decoder-only自回歸架構(gòu)，其關(guān)鍵技術(shù)涉及到預(yù)訓(xùn)練（Pre-Training）和微調(diào)（Fine-Turning）

GPT-2：擴(kuò)大GPT-1參數(shù)量和預(yù)訓(xùn)練數(shù)據(jù)量，應(yīng)用Prompt和Zero-shot開始可支持多任務(wù)的通用大模型

GPT-2模型的核心思想是摒棄了GPT-1中的微調(diào)環(huán)節(jié)和預(yù)訓(xùn)練步驟，轉(zhuǎn)而將合理的問題作為輸入，讓模型通過文字生成的方式直接生成答案。這種輸入通常被稱為一個(gè)“Prompt”。從基本結(jié)構(gòu)上來說，GPT-2與GPT-1是一樣的，都是多個(gè)Transformer解碼器的堆疊。然而，GPT-2在解碼器的細(xì)節(jié)方面做了一些調(diào)整，比如改變了歸一化層的位置，并新增了一層歸一化層。更重要的是，GPT-2通過將解碼器的堆疊個(gè)數(shù)擴(kuò)展到48個(gè)，增加多頭注意力機(jī)制的頭數(shù)以及位置編碼的個(gè)數(shù)，大大增加了參數(shù)量。GPT-1只有1.2億個(gè)參數(shù)，而GPT-2的參數(shù)量擴(kuò)展到了15億，這極大地提高了模型學(xué)習(xí)文本的能力。與模型參數(shù)量的增加相比，預(yù)訓(xùn)練數(shù)據(jù)規(guī)模的擴(kuò)大也是GPT-2不需要微調(diào)的關(guān)鍵。GPT-1的預(yù)訓(xùn)練數(shù)據(jù)規(guī)模為5GB，而GPT-2的數(shù)據(jù)規(guī)模則擴(kuò)大到GPT-1的8倍，達(dá)到40GB。

GPT-2在訓(xùn)練數(shù)據(jù)上的獲取方式相當(dāng)獨(dú)特。它從著名的在線社區(qū)Reddit上爬取了具有問答特性的訓(xùn)練數(shù)據(jù)，并根據(jù)社區(qū)用戶的投票結(jié)果篩選出優(yōu)質(zhì)的內(nèi)容。通過這種方式，GPT-2成功訓(xùn)練出了1.5億參數(shù)量，并且取得了與BERT相媲美的效果。

其涉及的關(guān)鍵理論和技術(shù)如下：

Prompt：將合理問題作為輸入（Prompt），令模型直接通過文字生成的方式生成答案。

零樣本學(xué)習(xí)(Zero-shot Learning)：只給出任務(wù)描述（description）和任務(wù)提示（prompt）。任務(wù)也可以通過設(shè)計(jì)相應(yīng)的Prompt來完成，這里的Prompt中并沒有任何關(guān)于問題應(yīng)該如何回答的提示。

黑板報(bào)劃重點(diǎn)-科普說人話：GPT-2是擴(kuò)大GPT-1參數(shù)量和預(yù)訓(xùn)練數(shù)據(jù)量，不需要像GPT-1進(jìn)行各任務(wù)微調(diào)，應(yīng)用Prompt和Zero-shot開始可支持多任務(wù)的通用大模型。

GPT-3：大力出奇跡并引入上下文學(xué)習(xí)，落地 few-shot少樣本學(xué)習(xí)

GPT-3可以說是GPT-2的強(qiáng)化版?，從GPT-2的15億個(gè)參數(shù)量增加到1750億個(gè)。GPT-3的訓(xùn)練數(shù)據(jù)不再是單純的自然語言文本，而是針對(duì)具體任務(wù)的高質(zhì)量Prompt，并且每個(gè)Prompt中都會(huì)包含十幾個(gè)到幾百個(gè)案例提示?？偠灾?，GPT-3可以被看作模型參數(shù)和預(yù)訓(xùn)練數(shù)據(jù)量增加的GPT-2。

GPT-3實(shí)際上可以被看作是GPT-2的強(qiáng)大進(jìn)化版，將模型參數(shù)數(shù)量從GPT-2的15億個(gè)飆升到了驚人的1750億個(gè)。同時(shí)，GPT-3在訓(xùn)練數(shù)據(jù)方面也經(jīng)歷了一場(chǎng)革命性的變革。它不再依賴單純的自然語言文本，而是采用了一種高度質(zhì)量的'Prompt'，而且每個(gè)Prompt中都包含了十幾個(gè)到幾百個(gè)案例提示。這種全新的訓(xùn)練方式使得GPT-3具備了更為廣泛的應(yīng)用能力，可以處理各種復(fù)雜任務(wù)。

綜上所述，GPT-3可被視為在模型參數(shù)和預(yù)訓(xùn)練數(shù)據(jù)量兩個(gè)方面都取得了顯著突破的GPT-2的強(qiáng)大繼任者。這一進(jìn)化使得它在自然語言處理領(lǐng)域成為了一顆璀璨的明星，展示出了無限的潛力。

其涉及的關(guān)鍵理論和技術(shù)如下：

小樣本學(xué)習(xí)(Few-shot Learning)：給出任務(wù)描述，給出若干個(gè)例子，給出任務(wù)提示。模型根據(jù)這些小樣本的提示，只需要通過前向計(jì)算的方式就可以獲得期望的答案

黑板報(bào)劃重點(diǎn)-科普說人話：GPT-3進(jìn)一步擴(kuò)大參數(shù)量和預(yù)訓(xùn)練數(shù)據(jù)量，是大力出奇跡的結(jié)果，并引入上下文學(xué)習(xí)，落地 few-shot少樣本學(xué)習(xí)。

GPT-3.5/ChatGPT：人類反饋強(qiáng)化學(xué)習(xí)進(jìn)行后處理生成更符合用戶訴求的高質(zhì)量結(jié)果

GPT-3.5/ChatGPT與GPT-3在原理上基本保持一致，但在訓(xùn)練數(shù)據(jù)方面進(jìn)行了一些重要的改進(jìn)。它引入了Codex數(shù)據(jù)集來進(jìn)行微調(diào)，這使得在ChatGPT中也能展現(xiàn)出對(duì)代碼的理解和解析能力。ChatGPT在GPT-3的基礎(chǔ)上經(jīng)過人類反饋的強(qiáng)化學(xué)習(xí)，同時(shí)對(duì)生成的回答內(nèi)容進(jìn)行了'無害化'處理。

'無害化'處理可以看作是對(duì)模型結(jié)果的一種后處理步驟，旨在確保生成的回答不會(huì)包含有害或不適當(dāng)?shù)膬?nèi)容。這一步驟并沒有引入新的技術(shù)，而是對(duì)模型輸出進(jìn)行了額外的過濾和修正。

可以說，強(qiáng)化學(xué)習(xí)RLHF是和'無害化'處理是GPT-3進(jìn)化成ChatGPT的關(guān)鍵技術(shù)，使其更加適用于各種實(shí)際應(yīng)用場(chǎng)景，并提供更安全和可控的對(duì)話體驗(yàn)。這些技術(shù)的引入為ChatGPT的性能和可用性帶來了顯著的提升。

其涉及的關(guān)鍵理論和技術(shù)如下：

RLHF(Reinforcement Learning from Human Feedback)：可以將其理解為通過訓(xùn)練一個(gè)反饋模型(Reward Model，RM)來模擬人類對(duì)語言模型回答的喜好程度，然后借助這個(gè)反饋模型使用強(qiáng)化學(xué)習(xí)的方式來訓(xùn)練語言模型，使其生成的回答越來越符合人類的喜好。

RLHF的訓(xùn)練過程可分為三個(gè)核心步驟。

(1) 收集以往用戶使用GPT-3的數(shù)據(jù)，進(jìn)行有監(jiān)督微調(diào)。

(2) 收集回答質(zhì)量不同的數(shù)據(jù)，組合訓(xùn)練反饋模型。

(3) 借助反饋模型，采用強(qiáng)化學(xué)習(xí)算法PPO訓(xùn)練語言模型。

黑板報(bào)劃重點(diǎn)-科普說人話：GPT-3.5/ChatGPT是通過強(qiáng)化學(xué)習(xí)RLHF和'無害化'進(jìn)行后處理，生成更符合用戶訴求的高質(zhì)量結(jié)果。

GPT-4：史上最強(qiáng)和最接近AGI 通用人工智能的多模態(tài)AI大模型

OpenAI的GPT-4技術(shù)報(bào)告出奇制勝，它沒有透露任何模型的架構(gòu)、參數(shù)、訓(xùn)練硬件和算力等具體技術(shù)信息。然而，總體而言，GPT-4在各種專業(yè)和學(xué)術(shù)基準(zhǔn)上都展現(xiàn)出了與人類水平相媲美的能力，并且顯著改善了生成式模型中的虛幻和安全性等問題。

GPT-4更進(jìn)一步支持多模態(tài)數(shù)據(jù)，包括圖片等不同模態(tài)的數(shù)據(jù)識(shí)別能力，這一拓展使得GPT-4的應(yīng)用領(lǐng)域更加廣泛，同時(shí)也開啟了OpenAI的插件應(yīng)用生態(tài)，為未來的應(yīng)用發(fā)展提供了更多可能性。雖然技術(shù)細(xì)節(jié)保持神秘，但GPT-4的實(shí)際能力和潛力無疑引領(lǐng)了自然語言處理和人工智能領(lǐng)域的發(fā)展方向。

GPT-4目前已知信息如下：

更長的上下文 ：ChatGPT支持的最長上下文長度為2048個(gè)單詞（準(zhǔn)確說是token），而GPT-4則大幅提升了這個(gè)數(shù)字，支持最長32768個(gè)單詞的上下文。這意味著，GPT-4能夠勝任更加復(fù)雜的任務(wù)。例如，你可以將一篇完整的論文作為輸入，讓GPT-4解讀、摘要論文內(nèi)容，甚至為你提供對(duì)實(shí)驗(yàn)分析的深入理解。或者，你也可以讓GPT-4閱讀冗長的保險(xiǎn)條款，為客戶解答與保險(xiǎn)相關(guān)的問題。

支持圖像信息 ：GPT-4不僅在自然語言領(lǐng)域有著強(qiáng)大的影響力，還開始滲透到計(jì)算機(jī)視覺領(lǐng)域。它具備了圖像識(shí)別的能力，可以理解圖片中的信息，甚至對(duì)圖像進(jìn)行評(píng)價(jià)。不同于以往的方法，GPT-4不需要將圖像轉(zhuǎn)化為文本信息，而是直接將圖像作為預(yù)訓(xùn)練任務(wù)的輸入，這讓模型能夠真正理解圖片。

更智能的問答 ：GPT-4在回答問題時(shí)表現(xiàn)更為出色。舉例來說，它可以在SAT（美國高中畢業(yè)生學(xué)術(shù)能力水平考試）中取得高分，甚至通過法律領(lǐng)域相關(guān)的專業(yè)考試。相比之下，ChatGPT在考試方面的能力相對(duì)較弱。此外，GPT-4生成的回答更加安全，不容易引起用戶的反感，因此在安全性方面也更為可靠。

黑板報(bào)劃重點(diǎn)-科普說人話：GPT-4被認(rèn)為是目前已知的最強(qiáng)大、最接近AGI（通用人工智能）的多模態(tài)AI大型模型。它具備了多模態(tài)能力，支持插件應(yīng)用，能夠處理更長的上下文信息，并且在智能問答方面表現(xiàn)出色。這使得GPT-4在各種領(lǐng)域和任務(wù)中都有著巨大的潛力，為人工智能領(lǐng)域的發(fā)展開辟了新的前景。

腦圖概覽-GPT版本演進(jìn)版本

一張簡易腦圖看GPT模型的演進(jìn)各版本關(guān)鍵點(diǎn)，供大家參考和查詢

結(jié)語-總結(jié)和展望

本文是“從零開始了解AI大模型”系列的第二篇技術(shù)篇（中），聚焦在GPT自回歸大模型的演進(jìn)和技術(shù)，下一篇技術(shù)篇（下）會(huì)總結(jié)AI大模型技術(shù)術(shù)語，以便大家隨時(shí)查閱。

“從零開始了解AI大模型”系列共計(jì)劃推出以下篇章：

• 概念篇（已發(fā)布）
• 技術(shù)篇（上）- AI大模型核心技術(shù)（已發(fā)布）
• 技術(shù)篇（中）- GPT自回歸大模型的技術(shù)和演變 （本文）
• 技術(shù)篇（下）- AI大模型技術(shù)術(shù)語總結(jié)（已發(fā)布）
• 市場(chǎng)篇
• 訓(xùn)練篇
• 應(yīng)用篇
• ...

通過這些篇章，希望能夠?yàn)樽x者提供全面的了解，幫助更深入地掌握AI大模型的知識(shí)。請(qǐng)繼續(xù)關(guān)注本頭條號(hào)獲取更多有關(guān)AI大模型的有趣信息和深入見解，和公眾號(hào)“AI數(shù)字化私域轉(zhuǎn)型”以體驗(yàn)AI大模型能力和智能AI助手。