Content

本文提出了一個利用大型語言模型（LLMs）和多代理架構(gòu)的新框架，用于量化股票投資和投資組合管理。該框架通過整合LLMs生成多樣化的alpha因子，并動態(tài)評估市場條件，以解決現(xiàn)有金融交易模型中的不穩(wěn)定性問題。通過從多模態(tài)金融數(shù)據(jù)中提取預(yù)測信號、構(gòu)建具有不同風(fēng)險偏好的交易代理池，以及基于實(shí)時市場條件動態(tài)分配權(quán)重，該框架能夠適應(yīng)市場變化并優(yōu)化交易策略。論文還通過在中國股市的廣泛實(shí)驗(yàn)，證明了該框架在多個金融指標(biāo)上顯著優(yōu)于現(xiàn)有基準(zhǔn)。

1. 引言

到2030年全球另類數(shù)據(jù)市場的價值預(yù)計(jì)將以52.1%的復(fù)合年增長率擴(kuò)張。作者深入探討了量化交易在分析和處理大量金融數(shù)據(jù)方面的進(jìn)步，尤其是在alpha挖掘——發(fā)現(xiàn)和提煉預(yù)測信號或alpha因子以預(yù)測資產(chǎn)回報方面。論文回顧了尤金·法瑪提出的有效市場假說（EMH），并討論了市場條件變化對股票價格信息反映的影響，同時指出了信息不對稱現(xiàn)象。接著，章節(jié)提出了當(dāng)前alpha挖掘過程中的三個主要挑戰(zhàn)：傳統(tǒng)方法的僵化、數(shù)據(jù)多樣性和整合、以及適應(yīng)市場變化性的問題。為了應(yīng)對這些挑戰(zhàn)，論文提出了一個新穎的框架，利用大型語言模型（LLMs）進(jìn)行alpha挖掘和策略優(yōu)化，通過靈活的alpha挖掘、多代理多模態(tài)市場評估，以及動態(tài)策略優(yōu)化來提高策略的適應(yīng)性和性能。

2. 問題表述

本章詳細(xì)介紹了一個全面的框架，用于在量化交易中生成alpha因子和策略。框架的核心在于如何為多只股票在多個交易期間計(jì)算alpha因子，并基于回測結(jié)果和當(dāng)前市場條件選擇表現(xiàn)最佳的種子alpha。該框架利用大型語言模型（LLMs）和多智能體系統(tǒng)動態(tài)挖掘和選擇種子alpha，確保適應(yīng)市場變化。種子alpha以數(shù)學(xué)公式的形式表達(dá)，結(jié)合了橫截面和時間序列運(yùn)算符，并包括一個流程，用于隨著時間的推移提煉和更新這些alpha，確保它們與不斷演變的市場條件保持相關(guān)。

2.1 Alpha因子與策略

假設(shè)下一交易期有若干股票。對于每個交易期，每只股票可以計(jì)算出多個類別的alpha值。這些alpha值代表了股票的潛在價值，而從每個類別中選擇表現(xiàn)最佳的種子alpha，作為最終策略的基礎(chǔ)。整體Alpha策略由各類別中選出的種子alpha組成。

2.2 種子Alpha挖掘與選擇

在量化交易中，傳統(tǒng)的alpha挖掘方法存在局限性，尤其是在市場條件迅速變化的情況下。這些方法往往無法動態(tài)適應(yīng)，導(dǎo)致性能不佳。為了解決這些挑戰(zhàn)，提出了一個新穎的框架，利用大型語言模型（LLMs）和多智能體系統(tǒng)進(jìn)行種子alpha的挖掘和選擇。該方法整合了機(jī)器學(xué)習(xí)技術(shù)和金融原理，創(chuàng)建了一個能夠動態(tài)調(diào)整市場變化并優(yōu)化alpha策略的系統(tǒng)?？蚣芡ㄟ^將當(dāng)前市場條件與alpha回測結(jié)果相結(jié)合，允許LLMs識別最合適的種子alpha。專門的智能體根據(jù)風(fēng)險偏好和專業(yè)知識進(jìn)行評估，確保在多樣化的市場環(huán)境中提供全面的解決方案。

2.3 種子Alpha公式化

框架規(guī)定了LLM生成的種子alpha的輸出形式，確保它們以數(shù)學(xué)表達(dá)式的形式呈現(xiàn)，結(jié)合了各種運(yùn)算符和原始金融特征。這些運(yùn)算符包括基本的算術(shù)運(yùn)算符和對數(shù)運(yùn)算符，以及需要多日數(shù)據(jù)的時間序列運(yùn)算符。隨著研究的進(jìn)行和新數(shù)據(jù)的出現(xiàn)，一些alpha公式可能會進(jìn)行調(diào)整，以適應(yīng)最新的市場條件和研究洞察。

3. 方法論

本章詳細(xì)闡述了構(gòu)建和優(yōu)化量化交易中alpha策略的全面框架的方法?？蚣馨齻€關(guān)鍵組成部分：種子Alpha工廠、多智能體決策過程和權(quán)重優(yōu)化方法。種子Alpha工廠利用大型語言模型（LLMs）過濾和分類多模態(tài)數(shù)據(jù)，創(chuàng)建出強(qiáng)大的種子alpha集合。多智能體系統(tǒng)基于不同的風(fēng)險偏好和市場條件評估和選擇這些alpha，同時通過置信度評分機(jī)制確保可靠性。最后，使用深度神經(jīng)網(wǎng)絡(luò)（DNN）優(yōu)化選定alpha的權(quán)重，預(yù)測未來收益，形成動態(tài)且可適應(yīng)的投資策略基礎(chǔ)。

3.1 框架概述

框架分為三個主要部分：種子Alpha工廠、多智能體決策制定和權(quán)重優(yōu)化方法。初始階段使用大型語言模型（LLM）過濾和分類多模態(tài)文檔，構(gòu)建種子Alpha工廠。LLM處理大量和多樣化數(shù)據(jù)集的能力確保了種子alpha集合全面且強(qiáng)大，按照金融alpha挖掘研究建立的獨(dú)立alpha類別進(jìn)行分類。第二階段，框架采用多模態(tài)多智能體決策過程。這種多智能體方法允許結(jié)合不同的風(fēng)險視角，增強(qiáng)策略在不同市場條件下的適應(yīng)性和魯棒性。最終階段涉及使用深度學(xué)習(xí)方法的權(quán)重優(yōu)化方法，評估每個種子alpha的性能，并構(gòu)建整體策略?？蚣茉O(shè)計(jì)為動態(tài)的，允許持續(xù)改進(jìn)和適應(yīng)。隨著新研究的出現(xiàn)和市場條件的演變，可以通過向LLM提供額外信息來增量更新種子Alpha工廠。這種持續(xù)更新機(jī)制確保種子Alpha工廠保持相關(guān)性和魯棒性。同樣，多智能體決策過程可以通過選擇新的種子alpha集合來適應(yīng)市場條件的變化，從而保持策略的有效性。

3.2 LLM過濾與分類

方法論的第一階段涉及LLM過濾與分類過程，用于alpha相關(guān)研究。這一階段利用大型語言模型（LLMs）的摘要和分類能力，以加快對最新alpha挖掘研究的理解，并建立種子Alpha工廠。本研究中，使用了定制版本的ChatGPT，名為“Alpha Grail”，執(zhí)行LLM過濾和分類任務(wù)。Alpha Grail的主要功能是幫助量化研究人員通過處理alpha相關(guān)研究文檔來構(gòu)建種子Alpha工廠。通過這個過程，Alpha Grail生成了包含100個種子alpha的九個類別。LLM過濾與分類階段還整合了多模態(tài)處理能力。通過結(jié)合研究文檔中的文本、圖像、表格和圖形等多模態(tài)數(shù)據(jù)源，LLM可以提供更全面的分析和分類種子alpha。這種多模態(tài)方法增強(qiáng)了LLM捕捉研究中細(xì)節(jié)和關(guān)系的能力，從而創(chuàng)建出更魯棒和多樣化的種子Alpha工廠。

3.3 多模態(tài)與多智能體評估Alpha集合

方法論的第二階段涉及通過多模態(tài)和多智能體系統(tǒng)全面評估和選擇alpha因子。這種方法通過整合不同的數(shù)據(jù)源和利用多個分析視角，確保對種子alpha進(jìn)行多樣化和徹底的評估。在這個階段，我們結(jié)合了包括文本、數(shù)字、視覺和多媒體輸入在內(nèi)的多模態(tài)數(shù)據(jù)，以豐富評估過程。這種全面的方法允許對市場動態(tài)和alpha因子性能的細(xì)微理解，增強(qiáng)了評估過程的魯棒性。多智能體系統(tǒng)由具有不同風(fēng)險偏好和投資策略的各種智能體組成。這些智能體分析多模態(tài)數(shù)據(jù)，并根據(jù)各自的標(biāo)準(zhǔn)評估種子alpha。每個智能體進(jìn)行風(fēng)險偏好分析，根據(jù)其預(yù)定義的風(fēng)險參數(shù)評估種子alpha。這確保了評估涵蓋了廣泛的風(fēng)險視角。智能體然后選擇與其風(fēng)險偏好和市場分析一致的alpha因子，確保在不同市場情景下的關(guān)聯(lián)性和魯棒性。為了增強(qiáng)選定alpha因子的可靠性，實(shí)施了置信度評分機(jī)制。每個智能體根據(jù)其分析和歷史表現(xiàn)為alpha因子分配置信度評分，反映了智能體對alpha因子預(yù)測能力和魯棒性的評估。選定的alpha因子經(jīng)過嚴(yán)格的回測，使用歷史市場數(shù)據(jù)評估其在各種市場條件下的性能。這一步對于識別最終策略中最具前景的alpha因子至關(guān)重要。

3.4 優(yōu)化權(quán)重的Alpha策略

為了優(yōu)化選定種子alpha的權(quán)重，我們采用深度神經(jīng)網(wǎng)絡(luò)（DNN）來擬合alpha值與未來收益。網(wǎng)絡(luò)架構(gòu)包括輸入層、隱藏層和輸出層。輸入層采用歷史收盤價派生的每日alpha計(jì)算作為輸入特征。隱藏層配備十個節(jié)點(diǎn)，使用ReLU激活函數(shù)引入非線性，增強(qiáng)模型的學(xué)習(xí)能力。輸出層由一個節(jié)點(diǎn)組成，預(yù)測未來收益。在訓(xùn)練階段，網(wǎng)絡(luò)采用反向傳播和梯度下降來最小化損失函數(shù)，該函數(shù)量化預(yù)測和實(shí)際收益之間的差異。這一迭代過程調(diào)整網(wǎng)絡(luò)的權(quán)重和偏差，以提高預(yù)測準(zhǔn)確性。為確保模型的泛化能力并防止過擬合，使用單獨(dú)的驗(yàn)證集。這種方法建立了一個基于歷史alpha值預(yù)測未來收益的強(qiáng)大框架，從而形成有效的投資策略。DNN模型通過隱藏層處理輸入數(shù)據(jù)，通過學(xué)習(xí)到的權(quán)重和偏差進(jìn)行轉(zhuǎn)換。最終輸出是通過在輸出層應(yīng)用另一組權(quán)重、偏差和激活函數(shù)生成的。我們的方法展示了利用深度學(xué)習(xí)技術(shù)優(yōu)化alpha權(quán)重的有效性，從而提高投資策略的預(yù)測性能。

4. 實(shí)驗(yàn)

本章旨在開發(fā)一個全面的由大型語言模型（LLM）驅(qū)動的alpha挖掘框架，該框架無需人工干預(yù)即可運(yùn)行。該框架能夠處理多模態(tài)信息并適應(yīng)不同的市場條件。系統(tǒng)中的一個關(guān)鍵創(chuàng)新是引入了置信度評分，旨在減少LLM在種子alpha選擇過程中可能出現(xiàn)的錯誤信息。通過將種子alpha回測結(jié)果與多模態(tài)市場條件整合，框架能夠更全面地理解市場動態(tài)，以及每個類別種子alpha相關(guān)的情緒。研究的主要目標(biāo)包括評估框架的有效性、多模態(tài)知識提取能力、置信度評分機(jī)制的有效性，以及整體策略的表現(xiàn)。為了驗(yàn)證框架的有效性，進(jìn)行了一系列實(shí)驗(yàn)，以回答以下研究問題（RQs）：

4.1 數(shù)據(jù)集研究聚焦于中國A股市場的金融數(shù)據(jù)，特別是針對上證50指數(shù)。數(shù)據(jù)集包括六個主要特征作為alpha因子的原始輸入：開盤、收盤、最高、最低、成交量和成交量加權(quán)平均價格（VWAP）。為了確保嚴(yán)格的評估和穩(wěn)健的模型性能，數(shù)據(jù)集被劃分為不同的時間段：訓(xùn)練集從2021年1月1日到2022年12月31日，測試集從2023年1月1日到2023年12月31日。實(shí)驗(yàn)整合了上證50指數(shù)成分股公司的財務(wù)報告和因子表現(xiàn)，提供了市場的全面視圖。

4.2 研究問題****4.2.1 RQ1: 框架是否能夠?qū)崿F(xiàn)多模態(tài)知識提取，并在不同市場條件下捕捉新的alpha？提出了一個提示架構(gòu)，該架構(gòu)將多模態(tài)市場信息整合到大型語言模型（LLM）中，以實(shí)現(xiàn)多模態(tài)知識提取，并在不同市場條件下選擇最優(yōu)的種子alpha。通過整合來自財務(wù)新聞情緒的文本數(shù)據(jù)、公司財務(wù)報表的數(shù)字?jǐn)?shù)據(jù)和交易圖表的視覺數(shù)據(jù)，框架提供了全面的股票分析。這種數(shù)據(jù)融合確保了全面的市場視角，增強(qiáng)了決策制定。上下文分析根據(jù)市場趨勢和行業(yè)表現(xiàn)調(diào)整參數(shù)，確保alpha選擇的相關(guān)性和準(zhǔn)確性。

4.2.2 RQ2: 我們的LLM驅(qū)動的alpha挖掘框架在交易有效性方面是否優(yōu)于當(dāng)前的alpha工廠？評估選定的種子alpha信號性能的主要指標(biāo)是信息系數(shù)（IC）。這些指標(biāo)提供了alpha值預(yù)測未來收益的預(yù)測能力洞察。信息系數(shù)（IC）衡量預(yù)測alpha值和實(shí)際未來收益之間的相關(guān)性。較高的IC表明預(yù)測關(guān)系更強(qiáng)，意味著alpha值在預(yù)測回報方面更有效。

4.2.3 RQ3: 我們的總體策略，結(jié)合LLM驅(qū)動的框架和置信度評分，是否能夠持續(xù)超越市場？表3展示了由框架生成的12個alpha的示例組合，這些alpha在上證50成分股上進(jìn)行了評估。表格詳細(xì)列出了LLM從每個類別中選擇的種子alpha，以及它們各自的權(quán)重和信息系數(shù)（IC）值。權(quán)重組合的信息系數(shù)相當(dāng)高。盡管一些種子alpha單獨(dú)表現(xiàn)出相對較低的IC值，但它們的移除會導(dǎo)致重新訓(xùn)練的組合權(quán)重顯著下降，表明它們在整體性能中的關(guān)鍵作用。例如，如果我們移除alpha #6，權(quán)重組合將下降到-0.055；一旦我們移除alpha #11，權(quán)重組合將僅下降到0.0491。這表明LLM選擇的種子alpha集合有效地協(xié)同作用，提供了強(qiáng)大的預(yù)測能力。

為了解決我們的總體策略，結(jié)合LLM驅(qū)動的框架和置信度評分，是否能夠持續(xù)超越市場的問題，我們使用了一個簡單的投資方法，在2023年1月1日至12月31日的期間對上證50數(shù)據(jù)集進(jìn)行了回測。我們的策略包括每天基于top-k/drop-n選擇過程重建投資組合。每個交易日，我們根據(jù)alpha值對股票進(jìn)行排名，并選擇前k股票進(jìn)行投資。我們的目標(biāo)是在這些選定的股票之間均勻分配投資，但我們限制每天最多交易n股票，以減少交易成本。在這個實(shí)驗(yàn)中，我們將k設(shè)置為13，將n設(shè)置為5。在測試期間，各種策略的凈值進(jìn)度如圖7所示。盡管沒有明確優(yōu)化絕對回報，我們的框架在回測中展示了令人印象深刻的表現(xiàn)，實(shí)現(xiàn)了比其他方法更高的利潤。我們2023年回測的累計(jì)回報達(dá)到了5317%的正收益，而指數(shù)表現(xiàn)為-11.73%，EFund表現(xiàn)為-9.17%，Boshi Fund表現(xiàn)為-8.81%。我們還與其他人的工作進(jìn)行了壓縮比較，顯示我們的框架能夠在市場中獲得最多的利潤。這種方法展示了我們的LLM驅(qū)動框架結(jié)合置信度評分，通過動態(tài)適應(yīng)變化條件并通過有紀(jì)律的投資策略最小化成本，持續(xù)超越市場的潛力。

5. 相關(guān)工作

在量化投資領(lǐng)域，公式化alpha指的是一系列系統(tǒng)性、基于規(guī)則的策略，旨在通過識別和利用市場的特定模式或異常來實(shí)現(xiàn)超額回報。這些策略通?；陬A(yù)定義的數(shù)學(xué)模型或算法，并通過自動化交易系統(tǒng)執(zhí)行。遺傳編程是創(chuàng)造公式化alpha的常見方法，它通過結(jié)構(gòu)和數(shù)值的變異來生成新的alpha策略。此外，機(jī)器學(xué)習(xí)技術(shù)，尤其是神經(jīng)網(wǎng)絡(luò)如長短期記憶網(wǎng)絡(luò)（LSTM）和Transformer模型，因其在捕捉時間序列數(shù)據(jù)中的復(fù)雜時序依賴關(guān)系方面的能力而受到重視。決策樹模型，如XGBoost和LightGBM，因其可解釋性和處理高維數(shù)據(jù)的能力而受到青睞?？山忉屓斯ぶ悄埽╔AI）方法和工具通過提供對模型決策過程的深入洞察，增強(qiáng)了投資者對模型的信任和理解。

金融領(lǐng)域大型語言模型（Fin-LLM）是專門為金融任務(wù)設(shè)計(jì)的模型，它們在處理金融數(shù)據(jù)和執(zhí)行金融任務(wù)方面展現(xiàn)出了潛力。盡管通用領(lǐng)域大型語言模型（LLM）已經(jīng)取得了顯著進(jìn)展，但金融領(lǐng)域的LLM仍在不斷發(fā)展中。開源LLM，如LLaMA、BLOOM和Flan-T5，提供了在自托管服務(wù)器上的靈活性和隱私保護(hù)，但在金融任務(wù)上可能不如專有模型表現(xiàn)出色。針對金融任務(wù)進(jìn)行微調(diào)的LLM在金融領(lǐng)域的任務(wù)上表現(xiàn)更佳，顯示出對金融領(lǐng)域特定知識的增強(qiáng)理解。然而，在生成任務(wù)中，這些模型的性能可能與通用LLM相當(dāng)或略遜一籌，這表明需要更高質(zhì)量的領(lǐng)域特定數(shù)據(jù)集來進(jìn)一步提升性能。

多模態(tài)與多智能體LLM在投資領(lǐng)域的應(yīng)用，展示了它們在處理和整合多種類型數(shù)據(jù)方面的潛力。這些模型能夠分析新聞文章、社交媒體帖子、交易圖表等多種數(shù)據(jù)源，從而提供更全面的市場洞察。通過這種多模態(tài)分析，模型能夠更準(zhǔn)確地預(yù)測市場動向和投資者情緒。在投資組合管理方面，多模態(tài)LLM能夠根據(jù)個人投資者的風(fēng)險偏好和財務(wù)目標(biāo)提供個性化的投資建議。此外，這些模型還能夠自動化執(zhí)行數(shù)據(jù)輸入、報告生成等常規(guī)任務(wù)，使投資專業(yè)人士能夠?qū)⒆⒁饬性诟邞?zhàn)略意義的決策上。多智能體系統(tǒng)通過模擬不同的市場情景和壓力測試，幫助基金經(jīng)理制定出能夠抵御市場波動的穩(wěn)健策略。這種系統(tǒng)的協(xié)作操作確保了可以并行測試和優(yōu)化多種策略，促進(jìn)了對風(fēng)險和回報的平衡考慮。

盡管多模態(tài)與多智能體LLM在金融領(lǐng)域的應(yīng)用前景廣闊，但它們的實(shí)施也引發(fā)了倫理和治理方面的考慮。確保透明度、問責(zé)制以及遵守道德指導(dǎo)方針和監(jiān)管標(biāo)準(zhǔn)對于維護(hù)投資者信任和市場完整性至關(guān)重要。此外，管理數(shù)據(jù)和模型訓(xùn)練中的潛在偏見也是防止系統(tǒng)性風(fēng)險和確保公平結(jié)果的關(guān)鍵。

本章還討論了將專家混合（MoE）結(jié)構(gòu)和金融知識圖譜技術(shù)應(yīng)用于策略開發(fā)的潛在好處。MoE結(jié)構(gòu)通過動態(tài)分配計(jì)算資源給不同的“專家”，提高了學(xué)習(xí)效率和模型性能。這種方法有助于模型更有效地學(xué)習(xí)和區(qū)分不同類別的種子alpha特征。金融知識圖譜技術(shù)通過引入金融市場的復(fù)雜性和互聯(lián)性，有助于在股票選擇階段實(shí)現(xiàn)更好的性能。這些技術(shù)的融合為量化投資策略的開發(fā)提供了新的可能性，有望進(jìn)一步提升模型的預(yù)測準(zhǔn)確性和市場適應(yīng)性。

6. 結(jié)論

本文概述了研究的主要貢獻(xiàn)和成果，提出了一個創(chuàng)新的框架，該框架利用大型語言模型（LLMs）和多智能體架構(gòu)在量化股票投資和投資組合管理中挖掘和優(yōu)化alpha因子。通過在中國股市的廣泛實(shí)驗(yàn)，證明了該框架在多個金融指標(biāo)上顯著優(yōu)于現(xiàn)有的基準(zhǔn)和傳統(tǒng)方法。此外，本章還強(qiáng)調(diào)了結(jié)合LLM生成的alpha和多智能體架構(gòu)以實(shí)現(xiàn)卓越交易性能和穩(wěn)定性的潛力，并為未來研究提供了方向，包括探索將多智能體架構(gòu)轉(zhuǎn)變?yōu)閷＜一旌希∕oE）結(jié)構(gòu)的可能性，以及將金融知識圖譜技術(shù)整合到策略開發(fā)過程中，以進(jìn)一步提升模型性能和市場預(yù)測的準(zhǔn)確性。

如何學(xué)習(xí)大模型 AI ？

由于新崗位的生產(chǎn)效率，要優(yōu)于被取代崗位的生產(chǎn)效率，所以實(shí)際上整個社會的生產(chǎn)效率是提升的。

但是具體到個人，只能說是：

“最先掌握AI的人，將會比較晚掌握AI的人有競爭優(yōu)勢”。

這句話，放在計(jì)算機(jī)、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的開局時期，都是一樣的道理。

我在一線互聯(lián)網(wǎng)企業(yè)工作十余年里，指導(dǎo)過不少同行后輩。幫助很多人得到了學(xué)習(xí)和成長。

我意識到有很多經(jīng)驗(yàn)和知識值得分享給大家，也可以通過我們的能力和經(jīng)驗(yàn)解答大家在人工智能學(xué)習(xí)中的很多困惑，所以在工作繁忙的情況下還是堅(jiān)持各種整理和分享。但苦于知識傳播途徑有限，很多互聯(lián)網(wǎng)行業(yè)朋友無法獲得正確的資料得到學(xué)習(xí)提升，故此將并將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來。

第一階段（10天）：初階應(yīng)用

該階段讓大家對大模型 AI有一個最前沿的認(rèn)識，對大模型 AI 的理解超過 95% 的人，可以在相關(guān)討論時發(fā)表高級、不跟風(fēng)、又接地氣的見解，別人只會和 AI 聊天，而你能調(diào)教 AI，并能用代碼將大模型和業(yè)務(wù)銜接。

• 大模型 AI 能干什么？
• 大模型是怎樣獲得「智能」的？
• 用好 AI 的核心心法
• 大模型應(yīng)用業(yè)務(wù)架構(gòu)
• 大模型應(yīng)用技術(shù)架構(gòu)
• 代碼示例：向 GPT-3.5 灌入新知識
• 提示工程的意義和核心思想
• Prompt 典型構(gòu)成
• 指令調(diào)優(yōu)方法論
• 思維鏈和思維樹
• Prompt 攻擊和防范
• …

第二階段（30天）：高階應(yīng)用

該階段我們正式進(jìn)入大模型 AI 進(jìn)階實(shí)戰(zhàn)學(xué)習(xí)，學(xué)會構(gòu)造私有知識庫，擴(kuò)展 AI 的能力。快速開發(fā)一個完整的基于 agent 對話機(jī)器人。掌握功能最強(qiáng)的大模型開發(fā)框架，抓住最新的技術(shù)進(jìn)展，適合 Python 和 JavaScript 程序員。

• 為什么要做 RAG
• 搭建一個簡單的 ChatPDF
• 檢索的基礎(chǔ)概念
• 什么是向量表示（Embeddings）
• 向量數(shù)據(jù)庫與向量檢索
• 基于向量檢索的 RAG
• 搭建 RAG 系統(tǒng)的擴(kuò)展知識
• 混合檢索與 RAG-Fusion 簡介
• 向量模型本地部署
• …

第三階段（30天）：模型訓(xùn)練

恭喜你，如果學(xué)到這里，你基本可以找到一份大模型 AI相關(guān)的工作，自己也能訓(xùn)練 GPT 了！通過微調(diào)，訓(xùn)練自己的垂直大模型，能獨(dú)立訓(xùn)練開源多模態(tài)大模型，掌握更多技術(shù)方案。

到此為止，大概2個月的時間。你已經(jīng)成為了一名“AI小子”。那么你還想往下探索嗎？

• 為什么要做 RAG
• 什么是模型
• 什么是模型訓(xùn)練
• 求解器 & 損失函數(shù)簡介
• 小實(shí)驗(yàn)2：手寫一個簡單的神經(jīng)網(wǎng)絡(luò)并訓(xùn)練它
• 什么是訓(xùn)練/預(yù)訓(xùn)練/微調(diào)/輕量化微調(diào)
• Transformer結(jié)構(gòu)簡介
• 輕量化微調(diào)
• 實(shí)驗(yàn)數(shù)據(jù)集的構(gòu)建
• …

第四階段（20天）：商業(yè)閉環(huán)

對全球大模型從性能、吞吐量、成本等方面有一定的認(rèn)知，可以在云端和本地等多種環(huán)境下部署大模型，找到適合自己的項(xiàng)目/創(chuàng)業(yè)方向，做一名被 AI 武裝的產(chǎn)品經(jīng)理。

• 硬件選型
• 帶你了解全球大模型
• 使用國產(chǎn)大模型服務(wù)
• 搭建 OpenAI 代理
• 熱身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地計(jì)算機(jī)運(yùn)行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何優(yōu)雅地在阿里云私有部署開源大模型
• 部署一套開源 LLM 項(xiàng)目
• 內(nèi)容安全
• 互聯(lián)網(wǎng)信息服務(wù)算法備案
• …

學(xué)習(xí)是一個過程，只要學(xué)習(xí)就會有挑戰(zhàn)。天道酬勤，你越努力，就會成為越優(yōu)秀的自己。

如果你能在15天內(nèi)完成所有的任務(wù)，那你堪稱天才。然而，如果你能完成 60-70% 的內(nèi)容，你就已經(jīng)開始具備成為一名大模型 AI 的正確特征了