【原】吳恩達(dá) x Open AI ChatGPT ——如何寫(xiě)出好的提示詞視頻核心筆記

銘毅天下 2024-03-11 發(fā)布于廣東

展開(kāi)全文

核心知識(shí)點(diǎn)腦圖如下：

1、第一講：課程介紹

要點(diǎn)1：

上圖展示了兩種大型語(yǔ)言模型（LLMs）的對(duì)比：基礎(chǔ)語(yǔ)言模型（Base LLM）和指令調(diào)整語(yǔ)言模型（Instruction Tuned LLM）。

基礎(chǔ)語(yǔ)言模型（Base LLM）

功能：基礎(chǔ)語(yǔ)言模型能夠預(yù)測(cè)下一個(gè)單詞，這種預(yù)測(cè)是基于文本訓(xùn)練數(shù)據(jù)。

例子：圖中提供了一個(gè)故事的開(kāi)頭：“Once upon a time, there was a unicorn that lived in a magical forest with all her unicorn friends（中文釋義：從前，有一只獨(dú)角獸和她所有的獨(dú)角獸朋友住在魔法森林里）”，這展示了模型如何根據(jù)給定的文本繼續(xù)生成故事。問(wèn)答能力：它能夠回答基礎(chǔ)的問(wèn)題，例如“法國(guó)的首都是什么？”，但它可能會(huì)產(chǎn)生問(wèn)題文本，如有害輸出，這些輸出與基礎(chǔ)語(yǔ)言模型的性質(zhì)有關(guān)，因?yàn)樗鼈儍H基于預(yù)測(cè)下一個(gè)最可能的單詞，而不是遵循特定的指令。

指令調(diào)整語(yǔ)言模型（Instruction Tuned LLM）

功能：這種模型試圖遵循指令，它通過(guò)在指令上進(jìn)行微調(diào)（fine-tuning，周鴻祎大佬經(jīng)常講），并在嘗試遵循這些指令時(shí)進(jìn)行優(yōu)化。
微調(diào)方法：使用RLHF（Reinforcement Learning with Human Feedback，中文釋義：人類(lèi)反饋強(qiáng)化學(xué)習(xí)）進(jìn)行微調(diào)，即結(jié)合強(qiáng)化學(xué)習(xí)和人類(lèi)反饋。

三H原則：幫助（Helpful）、誠(chéng)實(shí)（Honest）、無(wú)害（Harmless）。

例子：當(dāng)問(wèn)到“法國(guó)的首都是什么？”時(shí)，指令調(diào)整的模型會(huì)更準(zhǔn)確地回答“法國(guó)的首都是巴黎”。

總結(jié)來(lái)說(shuō)，圖中的主要區(qū)別在于基礎(chǔ)模型側(cè)重于文本數(shù)據(jù)的下一個(gè)詞預(yù)測(cè)，而指令調(diào)整模型則側(cè)重于理解和遵循指令，提供更準(zhǔn)確、更有用、更安全的輸出。

2、第二講：使用準(zhǔn)則

要點(diǎn)1：好提示詞的第一個(gè)原則——寫(xiě)出清晰且準(zhǔn)確的提示

指令必須清晰的三個(gè)核心原因：

核心一——避免歧義：清晰的指令讓機(jī)器沒(méi)有猜測(cè)的空間，可以直接執(zhí)行。

核心二——提高效率：清晰的指令可以讓機(jī)器快速理解并采取行動(dòng)，節(jié)約時(shí)間。

核心三——確保結(jié)果準(zhǔn)確：指令清晰可以確保機(jī)器提供的結(jié)果是我們所期待的。

要點(diǎn)2：好提示詞的第一個(gè)原則——給大模型思考的時(shí)間

要點(diǎn)2所說(shuō)的“給大模型思考的時(shí)間”，其實(shí)是在指導(dǎo)我們?nèi)绾胃咝У嘏c大型語(yǔ)言模型（如我）進(jìn)行交互。

下面是三個(gè)核心要點(diǎn)的解讀：

（1）等待模型回應(yīng)：

模型需要時(shí)間處理你的請(qǐng)求和生成回答，就像你向朋友提問(wèn)后要等待他們思考并回答一樣。

（2）避免打斷：

在模型回答之前不要急于提出新問(wèn)題，這就像不打斷別人說(shuō)話，給對(duì)方完成表達(dá)的機(jī)會(huì)。

這個(gè)一般模型也不允許。

（3）逐步提問(wèn)：

如果有復(fù)雜的問(wèn)題，可以分步驟提問(wèn)，讓模型逐一解決，就像解難題一樣，一步一個(gè)腳印來(lái)解答。

這是最核心的，大問(wèn)題務(wù)必精準(zhǔn)拆解成小問(wèn)題，且根據(jù)回復(fù)逐步調(diào)優(yōu)。

3、第三講：提示詞不是一步到位的，而通過(guò)反復(fù)迭代逐步完善的。

吳恩達(dá)老師“這幅圖展示了一個(gè)名為“迭代式提示開(kāi)發(fā)”的循環(huán)流程圖，它代表一個(gè)反饋循環(huán)，用于改進(jìn)和完善提示（可能是編程、數(shù)據(jù)輸入或任何需要精確指示的場(chǎng)合）的質(zhì)量。流程由四個(gè)主要部分組成：

1、Idea（想法）: 這是流程的開(kāi)始階段，你需要有一個(gè)初始想法或設(shè)計(jì)，這將成為你的起始點(diǎn)。

2、Implementation (code/data) Prompt（實(shí)現(xiàn)（代碼/數(shù)據(jù)）提示）: 根據(jù)想法，你會(huì)創(chuàng)建一個(gè)初步的提示，如果是編程領(lǐng)域，可能是編寫(xiě)代碼或準(zhǔn)備數(shù)據(jù)輸入。

3、Experimental result（實(shí)驗(yàn)結(jié)果）: 使用你的提示進(jìn)行實(shí)驗(yàn)后，你將獲得某些結(jié)果，這些結(jié)果可能會(huì)或不會(huì)符合你的預(yù)期。

4、Error Analysis（錯(cuò)誤分析）: 如果結(jié)果不符合預(yù)期，你需要進(jìn)行錯(cuò)誤分析，查找為什么會(huì)出現(xiàn)這樣的結(jié)果，可能是提示不夠清晰、具體或存在邏輯錯(cuò)誤。

這個(gè)過(guò)程是迭代的，意味著你會(huì)不斷重復(fù)這個(gè)循環(huán)，每一次都根據(jù)之前的反饋來(lái)調(diào)整和改進(jìn)你的提示，直到實(shí)驗(yàn)結(jié)果符合你的預(yù)期。

圖下方的“Prompt guidelines”列出了優(yōu)化提示時(shí)應(yīng)遵循的指導(dǎo)原則：

1、Be clear and specific（要清晰和具體）: 提示需要有足夠的詳細(xì)信息，避免歧義——這點(diǎn)反復(fù)強(qiáng)調(diào)過(guò)了。

2、Analyze why result does not give desired output（分析為什么結(jié)果不符合預(yù)期輸出）: 當(dāng)結(jié)果不如意時(shí)，深入分析原因（模型會(huì)分析，咱們也不要坐等，要結(jié)合經(jīng)驗(yàn)進(jìn)行分析），理解導(dǎo)致結(jié)果偏差的因素。

3、Refine the idea and the prompt（改進(jìn)想法和提示）: 根據(jù)分析結(jié)果調(diào)整你的想法和提示。

4、Repeat（重復(fù)）: 不斷重復(fù)這一過(guò)程（反復(fù)迭代），每次都嘗試提高提示的有效性。

這個(gè)流程是設(shè)計(jì)思維和敏捷開(kāi)發(fā)的典型，強(qiáng)調(diào)持續(xù)改進(jìn)和適應(yīng)性。