大家好，我是科學(xué)羊??。

終于迎來(lái)真正的AI時(shí)代了，我想也是時(shí)候?yàn)樽x者們分享一下關(guān)于AI的智慧與干貨了。

今天這篇我們來(lái)看看AI給我們帶來(lái)的啟示。

在當(dāng)下人工智能迅猛發(fā)展的時(shí)代，大語(yǔ)言模型（LLM）的訓(xùn)練方法成為了研究和實(shí)踐中的熱點(diǎn)話題。

隨著技術(shù)的進(jìn)步，我們不僅在使用AI時(shí)感受到了它強(qiáng)大的智能，也在與AI互動(dòng)的過(guò)程中產(chǎn)生了更多的自我反思。

它讓我們不禁思考，人類(lèi)如何模仿機(jī)器學(xué)習(xí)，借助對(duì)比反思自己的學(xué)習(xí)方式。

AI 大模型的訓(xùn)練方法為我們揭示了“思考”的多種可能性，也許這不僅能幫助我們理解AI的智能本質(zhì)，更能為我們的個(gè)人學(xué)習(xí)提供啟發(fā)。

01 大語(yǔ)言模型的訓(xùn)練之道

大語(yǔ)言模型的訓(xùn)練可以分為三個(gè)主要階段：預(yù)訓(xùn)練（Pre-training）、監(jiān)督微調(diào)（Supervised Fine-tuning，SFT） 和 強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL）。

這三個(gè)階段分別對(duì)應(yīng)了模型從“無(wú)知”??“思考”??“創(chuàng)造”的過(guò)程，而每個(gè)階段的作用也可以幫助我們更好地理解人類(lèi)學(xué)習(xí)的邏輯。

一、預(yù)訓(xùn)練：廣泛積累知識(shí)的起步階段

預(yù)訓(xùn)練階段的核心任務(wù)是讓模型通過(guò)大量的文本語(yǔ)料庫(kù)進(jìn)行“閱讀”并積累廣泛的知識(shí)。

這些文本包括書(shū)籍、文章、音頻視頻等各種類(lèi)型的內(nèi)容，而其中的數(shù)據(jù)質(zhì)量至關(guān)重要——海量而干凈的文本能為模型的“思維”奠定堅(jiān)實(shí)的基礎(chǔ)。

在這一階段，模型學(xué)習(xí)的主要任務(wù)是“預(yù)測(cè)下一個(gè)詞”，也就是通過(guò)已有信息推測(cè)接下來(lái)的內(nèi)容。

經(jīng)過(guò)這一階段的訓(xùn)練，模型就如同一個(gè)充滿好奇的孩子，擁有了廣博的知識(shí)，但還缺乏實(shí)際的應(yīng)用能力。

它可以根據(jù)已有的信息推測(cè)某個(gè)詞語(yǔ)或事件的走向，盡管它知道很多東西，但對(duì)于如何應(yīng)對(duì)不同情境還沒(méi)有明確的行為規(guī)范。

二、SFT：規(guī)范化的學(xué)習(xí)過(guò)程

當(dāng)模型完成了預(yù)訓(xùn)練，接下來(lái)的階段便是監(jiān)督微調(diào)（SFT）。

這個(gè)階段的重點(diǎn)是教會(huì)模型如何應(yīng)對(duì)不同的指令和情境，給它灌輸“說(shuō)人話”的能力。

研究者通過(guò)大量的實(shí)際應(yīng)用案例來(lái)告訴模型如何在面對(duì)不同的問(wèn)題時(shí)做出合適的反應(yīng)。

比如，當(dāng)你要求模型進(jìn)行翻譯時(shí)，它要學(xué)會(huì)如何準(zhǔn)確表達(dá)；

當(dāng)你給出一道數(shù)學(xué)題時(shí)，它不僅要給出答案，還要展示完整的解題步驟；

當(dāng)你讓它分析某個(gè)問(wèn)題時(shí)，它需要能夠條理清晰地列出多個(gè)思路。

這一階段，類(lèi)似于我們?nèi)说拇髮W(xué)教育——不僅是知識(shí)的學(xué)習(xí)，更是行為規(guī)范的學(xué)習(xí)。

學(xué)生們學(xué)習(xí)的，既包括寫(xiě)作技巧、解題策略，也有分析問(wèn)題的結(jié)構(gòu)和邏輯。

通過(guò)這個(gè)階段的訓(xùn)練，模型逐步變得像一個(gè)專(zhuān)業(yè)人士，能夠處理復(fù)雜的任務(wù)，但這時(shí)它的能力還僅限于遵循預(yù)設(shè)的“套路”，還沒(méi)有真正的創(chuàng)新能力。

三、RL：通過(guò)實(shí)踐提升輸出能力

但光有框架和套路，還不夠。

第三個(gè)階段便是強(qiáng)化學(xué)習(xí)（RL），它的作用在于讓模型通過(guò)實(shí)踐不斷調(diào)整優(yōu)化，提升輸出的水平。

簡(jiǎn)單來(lái)說(shuō)，RL階段是模型“通過(guò)實(shí)際做事”來(lái)提高能力的過(guò)程。

在這個(gè)階段，模型不僅要根據(jù)一組規(guī)則進(jìn)行操作，還要根據(jù)實(shí)際效果不斷進(jìn)行自我調(diào)整。

它會(huì)根據(jù)給出的任務(wù)生成多個(gè)解答，之后通過(guò)反饋來(lái)評(píng)估哪些解答更為有效。好的答案會(huì)得到獎(jiǎng)勵(lì)，差的答案則會(huì)被懲罰。

通過(guò)這種反復(fù)的強(qiáng)化學(xué)習(xí)，模型逐漸掌握了如何在更復(fù)雜的任務(wù)中優(yōu)化自己的思考過(guò)程。

RL的一個(gè)重要作用是讓模型與人類(lèi)的價(jià)值觀對(duì)齊——比如，輸出的內(nèi)容要符合道德規(guī)范，要有禮貌，要尊重用戶的需求。

這是因?yàn)樵赗L階段，模型不僅僅是在完成任務(wù)，它還在不斷學(xué)習(xí)如何與人類(lèi)進(jìn)行更有效的互動(dòng)。

LLM訓(xùn)練的三個(gè)過(guò)程，圖源https://blog.csdn.net/acelit/article/details/13756672

02 推理模型的突破與進(jìn)化

最近，推理模型的研究成為了人工智能領(lǐng)域的一大亮點(diǎn)。

以O(shè)penAI的o1和DeepSeek的R1為代表，推理模型不僅繼承了傳統(tǒng)大語(yǔ)言模型的訓(xùn)練流程，還在思維鏈（Chain of Thought，CoT）上進(jìn)行了強(qiáng)化。

推理模型的核心優(yōu)勢(shì)在于它能進(jìn)行“慢思考”，并且擁有多個(gè)思維路徑，可以在不同的推理鏈中進(jìn)行選擇，從而得出最優(yōu)答案。

這種“慢思考”的能力類(lèi)似于圍棋中的策略選擇。

圍棋高手不僅僅根據(jù)當(dāng)前的直覺(jué)做出決策，而是會(huì)深思熟慮，權(quán)衡多種可能性后才會(huì)選擇最為合適的落子。而推理模型的訓(xùn)練過(guò)程，則是在SFT和RL階段對(duì)思維鏈的不斷強(qiáng)化。

在推理模型的訓(xùn)練中，SFT階段會(huì)特別讓模型看到帶有完整推理過(guò)程的示例，幫助它理解如何通過(guò)步驟逐步推導(dǎo)出結(jié)論。

同時(shí)，在RL階段，模型則學(xué)會(huì)如何評(píng)估不同的思維鏈，并通過(guò)反饋優(yōu)化推理過(guò)程。

通過(guò)這些訓(xùn)練，推理模型逐步增強(qiáng)了“慢思考”的能力。

OpenAI，清楚地解釋了InstructGPT的SFT和RLHF過(guò)程

與傳統(tǒng)模型不同，推理模型不僅僅是生成一個(gè)直接的答案，而是在多個(gè)推理鏈中進(jìn)行深入思考，最終選出最優(yōu)答案。

推理模型的進(jìn)化不僅是對(duì)AI智能的推動(dòng)，也給我們提供了許多思考的啟示。

根據(jù)最新的研究成果，有三個(gè)重要的發(fā)現(xiàn)值得我們深入探討。

1. 思維鏈的長(zhǎng)度與問(wèn)題解決能力

研究發(fā)現(xiàn)，思維鏈越長(zhǎng)，模型在解決復(fù)雜問(wèn)題時(shí)越有可能成功。

長(zhǎng)的思維鏈意味著在某個(gè)方向上走得更遠(yuǎn)，也就是思考得更深。

只有深入思考，模型才能在推理過(guò)程中發(fā)現(xiàn)潛在的矛盾，并通過(guò)回溯找到正確的解答。

這一發(fā)現(xiàn)也啟示我們，深度思考才是解決問(wèn)題的關(guān)鍵。面對(duì)復(fù)雜的任務(wù)，我們需要的是更長(zhǎng)、更深的思維鏈，而不是簡(jiǎn)單的依賴直覺(jué)。

2. 錯(cuò)誤答案的根本原因

另一個(gè)有趣的發(fā)現(xiàn)是，當(dāng)模型輸出錯(cuò)誤答案時(shí)，它往往沒(méi)有進(jìn)行深度的思考。

反而，當(dāng)模型給出正確答案時(shí)，消耗的token較少。

這是因?yàn)?，錯(cuò)誤答案通常源自淺嘗輒止的思維——在一個(gè)思路中走不通，便快速切換到另一個(gè)方向，而正確的答案則需要在一個(gè)思維路徑上深入挖掘，直到找到問(wèn)題的本質(zhì)。

這個(gè)現(xiàn)象與我們解決問(wèn)題的方式相似：有時(shí)候我們要堅(jiān)持少數(shù)幾個(gè)正確的思路，而不是輕易放棄。

3. SFT的局限性與RL的突破性

在SFT階段，模型通過(guò)模仿和記憶他人的解題套路來(lái)進(jìn)行學(xué)習(xí)。

但如果沒(méi)有RL的強(qiáng)化學(xué)習(xí)支持，模型很難具備真正的創(chuàng)新能力。

強(qiáng)化學(xué)習(xí)能夠讓模型不僅僅停留在模式的記憶上，而是在實(shí)際問(wèn)題中不斷調(diào)整和優(yōu)化自己的方法，從而提高泛化能力。

結(jié)語(yǔ)：從AI到人類(lèi)的反思

通過(guò)對(duì)大語(yǔ)言模型的訓(xùn)練過(guò)程的探討，我們可以看到，AI的進(jìn)步不僅是技術(shù)的突破，它還給我們提供了深刻的思考角度。

從這個(gè)角度看，AI不僅僅是在模仿人類(lèi)，它也在引領(lǐng)我們反思如何更加高效地學(xué)習(xí)和思考。

我們可以從AI的訓(xùn)練方法中汲取靈感，讓自己的學(xué)習(xí)更有深度、更具創(chuàng)新力，從而達(dá)到更高的智能水平。

好，今天先這樣啦～

科學(xué)羊?? 2025/02/13 于東莞

祝幸福~ 

參考文獻(xiàn)

[1]. 得到-萬(wàn)維鋼精英日課*6 - Deeper Seeker

「感恩關(guān)注，科學(xué)羊持續(xù)為您帶來(lái)最好的科普知識(shí)」