1.背景介紹

1.1 奇點到來：ChatGPT引爆AIGC

2022年末，ChatGPT一經(jīng)推出即火爆全球，作為一款自然語言處理(Natural Language Processing，NLP)大模型，ChatGPT在意圖理解和內(nèi)容生成上，表現(xiàn)出了令人驚嘆的性能。

2023年初，ChatGPT的升級版GPT-4引入了對圖片、語音的支持等多模態(tài)能力，多項考試分數(shù)已經(jīng)超越了大部分人類。

2024年初，OpenAI發(fā)布文生視頻大模型Sora，在全球視頻大模型領域取得里程碑式進展。

如果說2016年AlphaGo在圍棋上戰(zhàn)勝人類棋王，是AI在專業(yè)領域戰(zhàn)勝人類的起點，那么以ChatGPT為代表的大模型的發(fā)布，則標志著泛化能力更強，通用任務處理更出色的生成式人工智能(AIGC: Artificial Intelligence Generated Content)的奇點來臨。

1.2 全球熱潮：全球AI市場預計將于2030年達到1萬億美元

2024 年全球人工智能 50 強

AI對各類工作的影響

1.3 AGI看到希望

1.4 高估的短期與低估的長期

2023年大眾對AI的看法 : 這是啥->好像也沒那么厲害->和我沒太大關系

• 短期:AGI并沒有馬上催生出大量'明星APP“和“變現(xiàn)機器”。只有ChatGPT，Charactor.ai等少數(shù)App實現(xiàn)了用戶突破。大量上層應用APP就像韭菜一樣:不僅曇花一現(xiàn)，迅速被OpenAI官方所取代,而且還無法做到成本打平。于是，投資人極端謹慎，公眾也漸漸對于AI麻木。

• 長期:技術的穩(wěn)定的、加速度的選代。23年3月預測的眾多技術到現(xiàn)在都有了長足進步:視頻生成、音頻生成、代理Agent、記憶能力、模型小型化…………它們距離商用可能還有各種各樣的問題，但捅破這層窗戶紙只是時間問題。

人間一日，AI十年，技術加速迭代已是常態(tài)，大模型技術浪潮是我們切身經(jīng)歷的這個時代最顯著的技術變革，目前還沒有看到阻止AGI出現(xiàn)的硬性限制，且我們距離AGI只有幾年距離，各位實施線同事要飽含熱情投入進來。

1.5 為什么大語言模型開啟了邁向通用人工智能之路？

認知智能是智能的終極體現(xiàn)，人機同頻的交流是智能被實現(xiàn)的象征，無論一個人工智能算法有多強大的能力。只要它不能普適性地理解人類、不能讓人類理解、不能與人類順暢交流，它終歸是無法融入人類和商業(yè)社會的（殘酷的是，一個真人也是一樣）。人工智能的終極評判標準，就是人機同頻交流。

在“人機同頻交流”的大目標下，自然語言處理這一領域的關鍵性不言而喻。人類90%的信息獲取與交流都依賴于語言，人類所有的邏輯、情感、知識、智慧、甚至社會的構建、文明的傳承依賴于對語言的理解和表達。因此，計算機想要具備“看人類所看，想人類所想，與人類同頻”的能力，就必須理解人類所使用的自然語言，而自然語言處理（Natural Langurage Process）正是研究如何讓計算機認知人類語言、理解人類語言、生成人類語言、甚至依賴這些語言與人進行交流、完成特定語言任務的關鍵學科。豪不夸張的說，人工智能能否真正“智能”，很大程度上都依賴于自然語言處理領域的發(fā)展。也正因如此，ChatGPT在人類語言領域的成功，很大程度上給出了通向通用人工智能的希望。

1.6 只是預測下一個“詞”而已？

1.7 引爆新一輪技術革命的真實原因：涌現(xiàn)能力

1）大語言模型的訓練目標是什么?

通常來說，大語言模型的原始訓練目標都是為了生成自然、連貫的文本，這也就是為什么GPT-3模型最早是被用來編寫新聞稿件、寫小說、編寫產(chǎn)品介紹文案、詩歌等；

由于模型本身接受了大量的文本進行預訓練，因此根據(jù)提示補全和創(chuàng)造文本可以看成是模型的原生技能；

2）引爆新一輪技術革命的真實原因：大語言模型的涌現(xiàn)能力

不過，僅僅能進行文本創(chuàng)造，并不足以讓大語言模型掀起新的一輪技術革命。人們真正看好大語言模型技術的根本在于當模型足夠大(參數(shù)足夠大&訓練數(shù)據(jù)足夠多)時模型展示出了“涌現(xiàn)能力”;

所謂涌現(xiàn)能力(Emergent Capabilities),指的是模型在沒有針對特定任務進行訓練的情況下，仍然能夠在合理提示下處理這些任務的能力；有時也可以將涌現(xiàn)能力理解為模型潛力；巨大的技術潛力，才是LLM爆火的根本原因；

3）大語言模型的涌現(xiàn)能力具體有哪些?

·對話能力：很難想象的是，對話能力其實也是大語言模型的涌現(xiàn)能力；對于大語言模型(例如Completion模型)來說，本身并未接受對話語料訓練，因此對話能力并不屬于模型的原生能力；

·翻譯能力、摘要提取能力、編程能力、推理能力、語意理解能力等，也都屬于大語言模型的涌現(xiàn)能力；

4）大語言模型到底能做什么?

·原生能力范疇一一文本創(chuàng)造：寫稿件、郵件、小說、新聞、詩歌…

·涌現(xiàn)能力范疇一一對話、編程、翻譯、推理(包括邏輯推理、自然科學類推理、NLP自然語言推理等),以及其他各類NLP任務，如文本分類、情感識別、推薦排序等…

2.重點概念解析

2.1 模型

在人工智能（AI）領域，一個“模型”通常是指一個用于對現(xiàn)實世界數(shù)據(jù)進行理解、預測和解決問題的算法框架，模型可以是一個數(shù)學公式，也可以是一個復雜的神經(jīng)網(wǎng)絡。AI模型基于數(shù)據(jù)學習，其目的是從提供的訓練數(shù)據(jù)中檢測出模式和關系，然后在新數(shù)據(jù)上應用這些學習到的規(guī)則來做出決策或推斷。AI模型的類型包括決策樹、支持向量機、神經(jīng)網(wǎng)絡等，具體取決于所要解決的問題和所使用的技術或方法。

2.2 大語言模型

1）什么是語言模型

語言模型是一種函數(shù)，或者是一種用于學習這種函數(shù)的算法，它可以捕捉自然語言中單詞序列分布的顯著統(tǒng)計特征，通常允許人們根據(jù)前面的單詞對下一個單詞做出概率預測。

2）什么是大語言模型？

大語言模型（LLM），也是一種神經(jīng)網(wǎng)絡模型，通常是具有大規(guī)模參數(shù)和計算能力，GPT由128層網(wǎng)絡和1750億參數(shù)組成，并使用45TB數(shù)據(jù)進行訓練。

2.3 自然語言處理

大語言模型不是一蹴而就的，是經(jīng)過了漫長的發(fā)展歷史，大語言模型是自然語言處理領域的重要成果。自然語言處理是人工智能 (AI)的一個分支，專注于計算機與自然語言之間的交互。

自然語言處理（NLP）的發(fā)展歷程可分為早期、中期以及現(xiàn)代（后期）三個階段：

早期（1950s-1980s）：早期的NLP主要由基于規(guī)則的系統(tǒng)構成。這些系統(tǒng)依據(jù)語言學家編寫的復雜規(guī)則來處理語言。

機器翻譯：NLP的早期研究主要關注機器翻譯，如1950s的Georgetown-IBM實驗，它使用了一組簡單的俄語到英語翻譯規(guī)則。

句法分析：70年代見證了句法分析器的開發(fā)，它們依靠編碼的語法規(guī)則來解析文本。

專家系統(tǒng)：1980年代，出現(xiàn)了基于專家知識的系統(tǒng)，如SHRDLU等，處理特定領域的自然語言理解問題。

中期（1980s-2000s）：在這個階段，與基于規(guī)則的系統(tǒng)相比，統(tǒng)計方法開始變得流行。

統(tǒng)計模型：1990年代起，統(tǒng)計模型在NLP中變得主流，尤其是隱馬爾可夫模型（HMMs）和概率上下文無關文法（PCFGs）被用于語音識別和句法分析。

數(shù)據(jù)驅動學習：大規(guī)模語料庫的建立使得基于數(shù)據(jù)的機器學習方法發(fā)展迅速。

機器翻譯的進步：90年代后期，基于數(shù)據(jù)的機器翻譯方法變得勢不可擋，尤其是基于短語的統(tǒng)計翻譯模型。

現(xiàn)代（2000s-至今）：現(xiàn)代NLP幾乎完全依賴于機器學習模型，尤其是深度學習方法，它們在性能上取得了質(zhì)的飛躍。

Word2Vec和深度學習：2010年代初，Word2Vec詞嵌入方法的發(fā)明以及卷積神經(jīng)網(wǎng)絡（CNNs）和循環(huán)神經(jīng)網(wǎng)絡（RNNs）在NLP的應用推動了深度學習的爆發(fā)。

注意力機制和Transformer模型：2017年，注意力機制和Transformer模型的出現(xiàn)徹底改變了NLP領域，這導致了BERT、GPT等預訓練語言模型的開發(fā)。

預訓練語言模型：預訓練語言模型利用大量未標注文本數(shù)據(jù)學習語言表示，通過微調(diào)可適用于多種NLP任務，顯著提升了下游應用的表現(xiàn)。

2.4 什么是token

人類的語言是由文字構成，語言的含義也是由單詞構成的，即單詞是含義的最小單位。因此，為了讓計算機理解自然語言，尋找數(shù)字表示的方法是第一步。

2.5 什么是詞嵌入（word embedding）

?然語?是?來表達?腦思維的復雜系統(tǒng)。在這個系統(tǒng)中，詞是意義的基本單元。顧名思義，詞向量是?于表?單詞意義的向量，并且還可以被認為是單詞的特征向量或表?。將單詞映射到實向量的技術稱為詞嵌?。

2.6 什么是預訓練？

在大型語言模型（LLM）的場景中，預訓練是使用大規(guī)模文本語料庫來學習語法結構、單詞上下文和語言模式的一種方法，預訓練過程：

1.選擇一個大規(guī)模的文本數(shù)據(jù)集：數(shù)據(jù)集的選擇依賴于模型的預訓練目標，通常使用網(wǎng)站、書籍或其他文本資源收集的未標記文本數(shù)據(jù)。

2.定義預訓練任務：任務可能包括語言模型預測、掩碼語言模型、句子關系預測等。具體的任務取決于預訓練模型的設計。

3.訓練模型：使用選擇的數(shù)據(jù)集和任務來訓練模型，這個過程可能持續(xù)數(shù)日至數(shù)月不等，需要大量計算資源。

4.提取知識：預訓練完成后，模型內(nèi)部的權重編碼了對語言的廣泛理解，這些知識可以遷移到下游任務中。

2.7 什么是微調(diào)？

感性理解：大模型微調(diào)指的是“喂”給模型更多信息，對模型的特定功能進行“調(diào)教”,即通過輸入特定領域的數(shù)據(jù)集，讓其學習這個領域的知識，從而讓大模型能夠更好的完成特定領域的NLP任務，例如情感分析、命名實體識別、文本分類、對話聊天等；

從模型本身角度而言：微調(diào)階段相當于是進一步進行訓練，該過程會修改模型參數(shù)，并最終使模型“記住”了這些額外信息；讓大模型永久記住信息的唯一方法就是修改參數(shù)；

有監(jiān)督微調(diào)：supervised fine-tuning,簡稱SFT;

數(shù)據(jù)標注：高質(zhì)量的有標簽數(shù)據(jù)集在微調(diào)過程中必不可少，數(shù)據(jù)標注工作則是用于創(chuàng)建這些有標簽的數(shù)據(jù)集；伴隨著大模型發(fā)展，人們也在嘗試使用大模型來完成很多數(shù)據(jù)標注工作；

2.8 什么是提示工程？

在人工智能和自然語言處理領域，特別是在使用大型語言模型（如GPT系列）時，prompt是指輸入給模型的文本，用于引導模型生成特定的輸出。Prompt可以是一個簡單的問題、一段描述或是一段指令，它告訴模型應該做什么以及如何生成所需的輸出。也就說，Prompt 是與大模型對話的語言，是大模型應用的核心。

2.9 什么是增強檢索（RAG）？

檢索增強生成（Retrieval-Augmented Generation，簡稱RAG）是一種人工智能技術，該技術通過檢索信息庫中的相關事實，以提高大型語言模型（LLMs）的準確性和可靠性。RAG結構是由Facebook AI于2020年提出的，旨在改善機器理解和生成自然語言的能力。RAG是一種結構或設計方法，結合了信息檢索技術和文本生成模型，在 LLM 本就強大的功能基礎上，RAG 將其擴展為能訪問特定領域或組織的內(nèi)部知識庫，所有這些都無需重新訓練模型。這是一種經(jīng)濟高效地改進 LLM 輸出的方法。

2.10 什么是知識庫？

基于RAG（Retrieval-Augmented Generation）的知識庫是一種結合了信息檢索（Retrieval）和生成模型（Generation）能力的人工智能系統(tǒng)。這種系統(tǒng)旨在通過檢索相關信息豐富其回答，同時利用生成模型按照檢索到的信息自動生成文本回答或解決方案。

2.11 什么是智能體（Agents）？

Agent：AI Agent本質(zhì)上是?個基于?語?模型的智能應?，也就是說Agent是?模型的上層應?。所謂Agent（代理?），指的是這個應?不僅僅停留在聊天對話的層?，更能接?外部?具幫你直接完成?些事項。

ChatGPT 能教你如何寫 SQL 查詢代碼；

Agent 能幫你直接從數(shù)據(jù)庫中提取數(shù)據(jù)。

2.12 什么是GPTs？

GPTs 是OpenAI 開發(fā)的一個工具，無需任何編程知識，通過簡單聊天的交互方式就能創(chuàng)建數(shù)學、論文、創(chuàng)意設計等不同任務的專屬GPT。是一種讓使用者將指令、額外知識和任何技能組合搭配起來 AI 助理的工具。從某種程度來說，也是智能體（Agent）的代名詞?？梢陨霞苤罣PT Store。

GPT Store 是由OpenAI推出的一個平臺，在這個平臺上，開發(fā)者和社區(qū)可以創(chuàng)建、分享以及發(fā)現(xiàn)各種基于GPT的應用。在GPTs商店中提供搜索及分類排行榜，能為制作者提供收益，鼓勵用戶制作與分享工具。截止到2024-3-10，GPTs的創(chuàng)建數(shù)量已經(jīng)超過400萬。