群友一直希望我做一個(gè)dify的教程，我把去年的dify鏟了，重新安裝了一遍。 同時(shí)基于以前的文章提問，以及群友的問題，我先做一個(gè)知識(shí)科普，不感興趣的可以繞過這塊。

國(guó)產(chǎn)AI之光！DeepSeek本地部署教程，效果媲美GPT-4

服務(wù)器繁忙，電腦配置太低，別急deepseek滿血版來了

DeepSeek+本地知識(shí)庫：真的太香了(修訂版)

DeepSeek+本地知識(shí)庫：真是太香了（企業(yè)方案）

本地DeepSeek下載慢，中斷、內(nèi)網(wǎng)無法安裝方案來了

最輕量級(jí)的deepseek應(yīng)用，支持聯(lián)網(wǎng)或知識(shí)庫

deepseek一鍵生成小紅書爆款內(nèi)容，排版下載全自動(dòng)！睡后收入不是夢(mèng)

知識(shí)科普 

關(guān)于模型

大語言模型（LLM）是通過深度學(xué)習(xí)技術(shù)，基于海量歷史文本數(shù)據(jù)訓(xùn)練出的概率生成系統(tǒng)。

能力邊界

• 知識(shí)時(shí)效性：模型知識(shí)截止于訓(xùn)練數(shù)據(jù)時(shí)間點(diǎn)
• 推理局限性：本質(zhì)是概率預(yù)測(cè)而非邏輯運(yùn)算，復(fù)雜數(shù)學(xué)推理易出錯(cuò)（deepseek的架構(gòu)有所不同）
• 專業(yè)領(lǐng)域盲區(qū)：缺乏垂直領(lǐng)域知識(shí)
• 幻覺現(xiàn)象：可能生成看似合理但實(shí)際錯(cuò)誤的內(nèi)容

更新機(jī)制

• 全量重訓(xùn)練：需重新處理TB級(jí)數(shù)據(jù)，消耗數(shù)千GPU小時(shí)（這個(gè)我們直接排除）
• 微調(diào)(Fine-tuning)：用領(lǐng)域數(shù)據(jù)調(diào)整模型參數(shù)，成本仍較高（這個(gè)也需要一定的成本）
• 上下文學(xué)習(xí)：通過提示詞臨時(shí)注入知識(shí)，但受限于上下文長(zhǎng)度（這個(gè)我們通過外掛知識(shí)庫實(shí)現(xiàn)）

綜上，我們能做的更新機(jī)制就是給它通過提示詞上下文臨時(shí)注入知識(shí)。

關(guān)于知識(shí)庫

我們之前說的知識(shí)庫都是廣義知識(shí)庫。

在關(guān)于模型哪里我們說了，我們可以通過提示詞臨時(shí)注入知識(shí)，給大模型，但是大模型的上下文是有長(zhǎng)度限制的，我們通過各種技術(shù)把最合適的內(nèi)容挑選出來，然后給大模型。

關(guān)于嵌入模型

嵌入模型是一種將高維離散數(shù)據(jù)（文本、圖像等）轉(zhuǎn)換為低維連續(xù)向量的技術(shù)，這種轉(zhuǎn)換讓機(jī)器能更好地理解和處理復(fù)雜數(shù)據(jù)。

舉一個(gè)例子來理解向量，你正在玩一個(gè)叫做'猜詞'的游戲。你的目標(biāo)是描述一個(gè)詞，而你的朋友們要根據(jù)你的描述猜出這個(gè)詞。你不能直接說出這個(gè)詞，而是要用其他相關(guān)的詞來描述它。例如，你可以用'熱'、'喝'、'早餐'來描述'咖啡'。嵌入模型就是將一個(gè)詞轉(zhuǎn)化為其他相關(guān)詞的專用模型。

'熱'、'喝'、'早餐' 可以理解為向量。不過向量值是在向量空間的特定位置，在這個(gè)空間里語義相近的詞會(huì)自動(dòng)聚集起來。所以就有了相似度的概念，相似度越高，越匹配。

我們使用的bge-m3 只能向量化出1024維。

為什么沒有匹配到知識(shí)

知識(shí)預(yù)處理

1， 上傳文檔

2，將文檔分割成適當(dāng)大小的文本塊

3，使用embedding模型將每個(gè)文本段轉(zhuǎn)換為向量

4，將向量和原文存儲(chǔ)到向量數(shù)據(jù)庫中

查詢處理階段

1，將用戶輸入問題轉(zhuǎn)換為向量

2， 在向量庫中檢索相似內(nèi)容

3， 將檢索到的相關(guān)內(nèi)容作為上下文提供給LLM

我們用的本地應(yīng)用工具，一般都是粗粒度分段，向量化的質(zhì)量沒法保證。

本地知識(shí)庫安全嗎？

根據(jù)上一步，我們可以知道本地知識(shí)庫+本地大模型是安全的。

本地知識(shí)庫+遠(yuǎn)端api的大模型，會(huì)把片段上傳。

dify安裝 

前提條件

假設(shè)你已經(jīng)安裝了docker，docker安裝不同的架構(gòu)安裝方式不一樣，這里就不做教程了。 已經(jīng)登錄了docker

安裝完docker以后，記得調(diào)整docker鏡像的存儲(chǔ)地址。

• 已經(jīng)安裝了docker，并且登錄了
• 已經(jīng)安裝了git win上docker安裝地址： https://docs./desktop/setup/install/windows-install/#wsl-2-backend

安裝

下載dify

通過官網(wǎng)下載，如果你沒有魔法，可以從網(wǎng)盤里那對(duì)應(yīng)的

# 進(jìn)入要下載的目錄，打卡命令提示行工具，cmd或者powershell
cd E:\ai\code
#下載
git clone https://github.com/langgenius/dify.git
# 國(guó)內(nèi)鏡像站
https:///dify_ai/dify
 

如果沒有g(shù)it環(huán)境，可以直接從網(wǎng)盤下載壓縮包。

我們下載以后，只關(guān)注docker文件夾和README_CN.md即可。

清理（非必須）

由于我的dify安裝的比較早，是0.7.x版本，為了給大家演示，就把原來的鏟了。如果你以前安裝過dify，使用以下命令清理歷史鏡像

創(chuàng)建配置

我們進(jìn)入dify目錄下的docker目錄中,比如我的 E:\ai\code\dify\docker

# 以示例創(chuàng)建一個(gè).env的文件，執(zhí)行下面命令
cp .\.env.example .env

修改dify綁定ip

API 服務(wù)綁定地址，默認(rèn)：0.0.0.0，即所有地址均可訪問。 剛開始我以為是控制dify對(duì)外暴露的服務(wù)的，改成了127.0.0.1,然后出現(xiàn)以下的502，折騰了我快3個(gè)小時(shí)。

修改端口（非必須）

默認(rèn)占用的是80和443端口，如果你本機(jī)已經(jīng)部署了其他的應(yīng)用，占了該端口，修改.env文件中的下面兩個(gè)變量

上傳文件大小

默認(rèn)上傳圖片大小是10MB,上傳視頻大小是100MB,文件默認(rèn)是50MB,如果有需要修改下面對(duì)應(yīng)的參數(shù)

# Upload image file size limit, default 10M.
UPLOAD_IMAGE_FILE_SIZE_LIMIT=10
# Upload video file size limit, default 100M.
UPLOAD_VIDEO_FILE_SIZE_LIMIT=100
# Upload audio file size limit, default 50M.
UPLOAD_AUDIO_FILE_SIZE_LIMIT=50

啟動(dòng)dify

啟動(dòng)以后在docker Desktop中查看，

設(shè)置管理員與登錄

http://127.0.0.1:8001/install

填寫相關(guān)信息，設(shè)置管理員賬戶。

設(shè)置成功以后，登錄

設(shè)置模型

1，點(diǎn)擊右上角的賬戶 2，點(diǎn)擊設(shè)置

本地模型設(shè)置

1， 點(diǎn)擊模型供應(yīng)商 2，下拉找到ollama 3，點(diǎn)擊添加模型

添加對(duì)話模型按照步驟添加模型即可，注意模型上下文長(zhǎng)度，可以通過ollama show 模型名稱查看，如果你經(jīng)常用大文本，就直接調(diào)到最大值。需要注意的是dify，上傳文件是有大小限制的。

關(guān)于ip我使用的是本地docker虛擬網(wǎng)絡(luò)，如果你ollama設(shè)置了OLLAMA_HOST為0.0.0.0 需要注意網(wǎng)絡(luò)安全，防止外網(wǎng)有人能訪問。我是將我的ollama綁定到了局域網(wǎng)ip上了。

添加向量模型

1，注意選擇text embedding

系統(tǒng)模型設(shè)置

1，點(diǎn)擊系統(tǒng)模型設(shè)置

2，選擇已經(jīng)配置的模型，當(dāng)然建立知識(shí)庫的時(shí)候，也可以切換

3，選擇向量模型

4，保存

在線api模型配置

騰訊模型配置（免費(fèi)到2月25日）

沒找到對(duì)應(yīng)的模型供應(yīng)商，直接選擇openai兼容的模型供應(yīng)商。

按步驟填寫即可。

2，模型名稱選擇deepseek-r1

3，api key 填寫自己的即可

4，填寫地址：https://api.lkeap.cloud.tencent.com/v1

硅基流動(dòng)添加

找到模型供應(yīng)商，點(diǎn)擊設(shè)置，配置下密鑰就可以了。

模型供應(yīng)商

配置好以后，我們可以在模型列表那里看到所有的模型

最終系統(tǒng)模型設(shè)置

知識(shí)庫設(shè)置

創(chuàng)建知識(shí)庫

分段

dify的分段有個(gè)好處，設(shè)置分段以后，可以實(shí)時(shí)預(yù)覽，可以根據(jù)預(yù)覽效果，自己實(shí)時(shí)調(diào)整分段策略。dify建議首次創(chuàng)建知識(shí)庫使用父子分段模式。

通用分段（原自動(dòng)分段與清洗）

關(guān)鍵點(diǎn)：

1，默認(rèn)\n作為分段標(biāo)識(shí)

2，最大分段長(zhǎng)度為4000tokens，默認(rèn)為500tokens

3，分段重疊長(zhǎng)度，默認(rèn)為50tokens，用于分段時(shí)，段與段之間存在一定的重疊部分。建議設(shè)置為分段長(zhǎng)度 Tokens 數(shù)的 10-25%；

4，文本預(yù)處理規(guī)則：用于移除冗余符號(hào)、URL等噪聲

5，這里還有一個(gè)點(diǎn)，向量模型會(huì)自動(dòng)按段落或語義進(jìn)行切分，也就是大家分段以后內(nèi)容缺失的根因。

適用于內(nèi)容簡(jiǎn)單、結(jié)構(gòu)清晰的文檔（如FAQ列表）

父子分段

父子模式采用雙層分段結(jié)構(gòu)來平衡檢索的精確度和上下文信息,讓精準(zhǔn)匹配與全面的上下文信息二者兼得。

關(guān)鍵點(diǎn)

1，父區(qū)塊（Parent-chunk）保持較大的文本單位（如段落），上下文內(nèi)容豐富且連貫。默認(rèn)以\n\n為分段標(biāo)識(shí)，如果知識(shí)不長(zhǎng)，可以以整個(gè)作為父區(qū)塊（超過1萬個(gè)分段就直接被截?cái)嗔耍?/span>

2，子區(qū)塊（Child-chunk）以較小的文本單位（如句子），用于精確檢索。默認(rèn)以\n為分段標(biāo)識(shí)。

3，也可以選擇噪音清理

4，在搜索時(shí)通過子區(qū)塊精確檢索后，獲取父區(qū)塊來補(bǔ)充上下文信息，從而給LLM的上下文內(nèi)容更豐富

以句子為最小單位，向量化以后向量匹配的準(zhǔn)確度會(huì)極大的提升。

官方示意圖如下：

1，我們可以不斷的調(diào)整參數(shù)，預(yù)覽下，看下實(shí)際效果，

索引模式

索引模式有兩種。分別是高質(zhì)量索引和經(jīng)濟(jì)索引

高質(zhì)量索引

• 適用場(chǎng)景：需要高精度語義檢索（如復(fù)雜問答、多語言支持）。

• 實(shí)現(xiàn)方式：依賴嵌入模型生成向量索引，結(jié)合 ReRank 模型優(yōu)化排序。
• 適用文檔：格式化文檔，如表格、技術(shù)手冊(cè)

我們看下官方推薦的配置1，選擇高質(zhì)量

3，選擇向量模型

4，選擇系統(tǒng)推薦的混合檢索

5，選擇Rerank模型，并選擇對(duì)應(yīng)的rerank模型

經(jīng)濟(jì)索引

• 適用場(chǎng)景：預(yù)算有限或內(nèi)容簡(jiǎn)單（如關(guān)鍵詞匹配為主的FAQ）。

• 實(shí)現(xiàn)方式：使用離線向量引擎或關(guān)鍵詞索引，無需消耗額外 Token，但語義理解能力較弱。
• 優(yōu)化建議：可通過調(diào)整 TopK（返回相似片段數(shù)量）和 Score 閾值（相似度過濾）平衡召回率與準(zhǔn)確率。
• 適用文檔：非結(jié)構(gòu)化文本**，如會(huì)議記錄

使用 

創(chuàng)建應(yīng)用

點(diǎn)擊工作室，我們可以看到有很多豐富的應(yīng)用，包括聊天助手、agent、工作流等 我們選擇最簡(jiǎn)單的應(yīng)用，聊天助手，點(diǎn)擊5，創(chuàng)建空白應(yīng)用

添加知識(shí)庫

知識(shí)庫可以一次選多個(gè)，我們只選擇三國(guó)演義。

召回設(shè)置

1，選擇Rerank模型

2，選擇相關(guān)的模型

3，設(shè)置召回?cái)?shù)量（文本片段數(shù)量）

4，相似度匹配，設(shè)置0.7

調(diào)試與預(yù)覽

1，輸入聊天內(nèi)容

2，點(diǎn)擊發(fā)送

3，調(diào)試成功以后可以點(diǎn)擊發(fā)布

發(fā)布以后有多種適用方式。

返回工作室以后，我們可以發(fā)現(xiàn)已經(jīng)有對(duì)應(yīng)的應(yīng)用了。

后記 

后續(xù)我會(huì)分享dify相關(guān)的高級(jí)功能。

同時(shí)也會(huì)基于dify做整合企業(yè)知識(shí)的相關(guān)功能開發(fā)。