Dify：完善生態(tài)、支持Ollama與本地知識庫、拖放式UI 構(gòu)建Agent！

江海博覽 2024-05-13 發(fā)布于浙江

展開全文

Dify：完善生態(tài)、支持Ollama與本地知識庫、拖放式UI 構(gòu)建Agent！

原文鏈接（更好排版、視頻播放、社群交流）：https://mp.weixin.qq.com/s/zwSIyquN2P4IhKEQTa8RBQ

28.6k Star！Dify：完善生態(tài)、支持Ollama與本地知識庫、企業(yè)級拖放式UI構(gòu)建AI Agent、API集成進(jìn)業(yè)務(wù)！

原創(chuàng) Aitrainee AI進(jìn)修生

Dify 是一款開源的大語言模型(LLM) 應(yīng)用開發(fā)平臺，它融合了后端即服務(wù)和 LLMOps 的理念，使開發(fā)者可以快速搭建生產(chǎn)級的生成式 AI 應(yīng)用。
即使你是非技術(shù)人員，也能參與到 AI 應(yīng)用的定義和數(shù)據(jù)運營過程中，使用拖放式 UI 構(gòu) 建 AI 應(yīng)用程序和 RAG 工作流程！

體驗地址：https://cloud./apps

為什么使用 Dify？

你或許可以把 LangChain 這類的開發(fā)庫（Library）想象為有著錘子、釘子的工具箱。與之相比，Dify 提供了更接近生產(chǎn)需要的完整方案，Dify 好比是一套腳手架，并且經(jīng)過了精良的工程設(shè)計和軟件測試。

在可視化畫布上構(gòu)建和測試強大的 AI 工作流程，利用以下所有功能及其他功能。

我們的社區(qū)用戶對 Dify 的產(chǎn)品評價可以歸結(jié)為簡單、克制、迭代迅速?！酚睿珼ify.AI CEO

Dify 能做什么？

Dify 一詞源自 Define + Modify，意指定義并且持續(xù)的改進(jìn)你的 AI 應(yīng)用，它是為你而做的（Do it for you）。

創(chuàng)業(yè)，快速的將你的 AI 應(yīng)用創(chuàng)意變成現(xiàn)實，無論成功和失敗都需要加速。在真實世界，已經(jīng)有幾十個團(tuán)隊通過 Dify 構(gòu)建 MVP（最小可用產(chǎn)品）獲得投資，或通過 POC（概念驗證）贏得了客戶的訂單。

將 LLM 集成至已有業(yè)務(wù)，通過引入 LLM 增強現(xiàn)有應(yīng)用的能力，接入 Dify 的 RESTful API 從而實現(xiàn) Prompt 與業(yè)務(wù)代碼的解耦，在 Dify 的管理界面是跟蹤數(shù)據(jù)、成本和用量，持續(xù)改進(jìn)應(yīng)用效果。

作為企業(yè)級 LLM 基礎(chǔ)設(shè)施，一些銀行和大型互聯(lián)網(wǎng)公司正在將 Dify 部署為企業(yè)內(nèi)的 LLM 網(wǎng)關(guān)，加速 GenAI 技術(shù)在企業(yè)內(nèi)的推廣，并實現(xiàn)中心化的監(jiān)管。

探索 LLM 的能力邊界，即使你是一個技術(shù)愛好者，通過 Dify 也可以輕松的實踐 Prompt 工程和 Agent 技術(shù)，在 GPTs 推出以前就已經(jīng)有超過 60,000 開發(fā)者在 Dify 上創(chuàng)建了自己的第一個應(yīng)用。

知識庫

從 Notion 導(dǎo)入數(shù)據(jù)

Dify 數(shù)據(jù)集支持從 Notion 導(dǎo)入，并設(shè)置同步使得數(shù)據(jù)在 Notion 更新后便自動同步到 Dify。

通過 API 維護(hù)數(shù)據(jù)集

Dify中存在知識庫數(shù)據(jù)集的單獨API，這與他的服務(wù)api不同，你可以單獨的使用數(shù)據(jù)集的API：

工作流

工作流通過將復(fù)雜的任務(wù)分解成較小的步驟，提高了 LLM 應(yīng)用面向復(fù)雜任務(wù)的性能。

Dify 工作流按應(yīng)用情景劃分為兩種類型：

· Chatflow：面向多步邏輯的對話式應(yīng)用程序。

· Workflow：面向自動化和批處理情景，適合高質(zhì)量翻譯、數(shù)據(jù)分析、內(nèi)容生成、電子郵件自動化等應(yīng)用程序。

· 常見案例：

官方文檔中詳細(xì)的介紹了各種使用的節(jié)點，以及最終形成的工作流是支持導(dǎo)出的，方便我們團(tuán)隊協(xié)作。

接入眾多LLM

模型配置

Dify 目前已支持主流的模型供應(yīng)商，例如 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列等。

模型配置教程：https://docs./v/zh-hans/guides/model-configuration

請查看公眾號往期文章（有關(guān)于免費OpenAI API調(diào)用的介紹、部署項目的時候如何進(jìn)行API配置）

在 Dify 的設(shè)置 > 模型供應(yīng)商中設(shè)置要接入的模型。

配置完模型后，就可以在應(yīng)用中使用這些模型了：

除此以外，Dify對于各種基礎(chǔ)LLM，進(jìn)行強大的兼容支持，支持各種本地如ollama以及第三方的模型，甚至支持你自定義的模型（需要自己重寫類，和編寫配置yaml）

發(fā)布你的應(yīng)用

發(fā)布為公開 Web 站點

Dify還挺給力，用它創(chuàng)建AI應(yīng)用，幾分鐘就能弄出一個Web應(yīng)用，用戶直接用，多方便。

發(fā)布AI站點 ：

· 不管你是自己部署還是用云服務(wù)，比如Udify.app，都能快速上線。
· 在應(yīng)用概覽頁里，找到那個AI站點（WebApp）的卡片，開啟訪問，就有鏈接可以分享了。

分享應(yīng)用 ：

· 無論是文本生成還是對話型應(yīng)用，Dify都提供了好看的WebApp界面。就像是應(yīng)用的臉，看起來得漂亮。

設(shè)置你的AI站點 ：

· 點擊WebApp卡片上的設(shè)置，可以弄一些東西，比如圖標(biāo)、名稱、應(yīng)用描述、界面語言、版權(quán)信息，還有隱私政策鏈接。這些都是最終用戶會看到的。

嵌入你的AI站點 ：

· Dify支持把你的AI應(yīng)用嵌入到你的商業(yè)網(wǎng)站里。比如想做個AI客服或者問答系統(tǒng)，只要點擊WebApp的嵌入按鈕，復(fù)制那個嵌入代碼，然后粘貼到你網(wǎng)站的合適位置。
· 用 iframe 標(biāo)簽，把代碼放到網(wǎng)站的 <div> 、 <section> 這樣的地方。
· 或者用 script 標(biāo)簽，復(fù)制代碼到網(wǎng)站的 <head> 或 <body> 中。

比如說，你把script代碼粘貼到官網(wǎng)的 <body> 里，這樣就能有個官網(wǎng)AI機器人了。

基于 APIs 開發(fā)

Dify API基于“后端即服務(wù)”的理念，它讓所有應(yīng)用開發(fā)者都能輕松把大型語言模型的能力塞到前端應(yīng)用里。想象一下，不用搞復(fù)雜的后端架構(gòu)，直接在前端搞定一切。

這Dify API的好處多著呢：

· 直接在前端安全調(diào)用LLM，免去一堆后端開發(fā)麻煩。
· 設(shè)計應(yīng)用時候，你看到的可視化界面，改啥都能實時反饋到所有客戶端。
· 管理LLM供應(yīng)商和密鑰？都幫你封裝得妥妥的，想換就換。
· 還有工具、插件、數(shù)據(jù)集持續(xù)更新，保證你的應(yīng)用總是跟得上步伐。

怎么用呢？簡單得很：

1. 在應(yīng)用的左側(cè)導(dǎo)航找到“API Access”。
2. 看看Dify提供的API文檔，管理下你的API憑證。

想具體操作看看嗎？比如你是開發(fā)部的，要用公司的數(shù)據(jù)庫給終端用戶提供AI能力，但你又不想外人摸清你的數(shù)據(jù)和AI邏輯。這時候，API密鑰得后端調(diào)用，保證安全，防止被濫用。

搞文本生成型應(yīng)用？調(diào)用 completion-messages 接口，輸入點什么，文本結(jié)果就出來了。下面是個調(diào)用示例：

curl --location --request POST 'https://api./v1/completion-messages' --header 'Authorization: Bearer ENTER-YOUR-SECRET-KEY' --header 'Content-Type: application/json' --data-raw '{
    'inputs': {},
    'response_mode': 'streaming',
    'user': 'abc-123'
}'

或者是對話型應(yīng)用，采用一問一答模式，持續(xù)對話的那種。啟動對話的API調(diào)用看這里：

curl --location --request POST 'https://api./v1/chat-messages' --header 'Authorization: Bearer ENTER-YOUR-SECRET-KEY' --header 'Content-Type: application/json' --data-raw '{
    'inputs': {},
    'query': 'eh',
    'response_mode': 'streaming',
    'conversation_id': '1c7e55fb-1ba2-4e10-81b5-30addcea2276'
    'user': 'abc-123'
}'

下面提供Dify官方的 文檔介紹、相關(guān)資源、部署教程 等，進(jìn)一步支撐你的行動，以提升本文的幫助力。

快速開始

Dify 是一個開源的 LLM 應(yīng)用開發(fā)平臺。其直觀的界面結(jié)合了 AI 工作流、RAG 管道、Agent、模型管理、可觀測性功能等，讓您可以快速從原型到生產(chǎn)。以下是其核心功能列表：

1. 工作流 : 在畫布上構(gòu)建和測試功能強大的 AI 工作流程，利用以下所有功能以及更多功能。

https://github.com/langgenius/dify/assets/13230914/356df23e-1604-483d-80a6-9517ece318aa

2. 全面的模型支持 : 與數(shù)百種專有/開源 LLMs 以及數(shù)十種推理提供商和自托管解決方案無縫集成，涵蓋 GPT、Mistral、Llama3 以及任何與 OpenAI API 兼容的模型。完整的支持模型提供商列表可在此處找到。

3. Prompt IDE : 用于制作提示、比較模型性能以及向基于聊天的應(yīng)用程序添加其他功能（如文本轉(zhuǎn)語音）的直觀界面。

4. RAG Pipeline : 廣泛的 RAG 功能，涵蓋從文檔攝入到檢索的所有內(nèi)容，支持從 PDF、PPT 和其他常見文檔格式中提取文本的開箱即用的支持。

5. Agent 智能體 : 您可以基于 LLM 函數(shù)調(diào)用或 ReAct 定義 Agent，并為 Agent 添加預(yù)構(gòu)建或自定義工具。Dify 為 AI Agent 提供了50多種內(nèi)置工具，如谷歌搜索、DELL·E、Stable Diffusion 和 WolframAlpha 等。

6. LLMOps : 隨時間監(jiān)視和分析應(yīng)用程序日志和性能。您可以根據(jù)生產(chǎn)數(shù)據(jù)和標(biāo)注持續(xù)改進(jìn)提示、數(shù)據(jù)集和模型。

7. 后端即服務(wù) : 所有 Dify 的功能都帶有相應(yīng)的 API，因此您可以輕松地將 Dify 集成到自己的業(yè)務(wù)邏輯中。

使用 Dify

· 云我們提供[ Dify 云服務(wù)]:(https://)，任何人都可以零設(shè)置嘗試。它提供了自部署版本的所有功能，并在沙盒計劃中包含 200 次免費的 GPT-4 調(diào)用。
· 自托管 Dify 社區(qū)版使用這個入門指南快速在您的環(huán)境中運行 Dify。使用我們的[文檔]:(https://docs.)進(jìn)行進(jìn)一步的參考和更深入的說明。
· 面向企業(yè)/組織的 Dify我們提供額外的面向企業(yè)的功能。與我們安排會議或給我們發(fā)送電子郵件討論企業(yè)需求。

對于使用 AWS 的初創(chuàng)公司和中小型企業(yè)，請查看 AWS Marketplace 上的 Dify 高級版，并使用一鍵部署到您自己的 AWS VPC。它是一個價格實惠的 AMI 產(chǎn)品，提供了使用自定義徽標(biāo)和品牌創(chuàng)建應(yīng)用程序的選項。