原文地址鏈接：https://mp.weixin.qq.com/s/WErkqzcB6HTx8P8EmaAF-w 

免費(fèi)開源，無需 GPU，本地化部署大語言模型的對話系統(tǒng)

原創(chuàng) RUNOOB 菜鳥教程 2024-04-14 11:38 福建 聽全文

項(xiàng)目名: FreeAskInternet --本地化大語言模型的對話系統(tǒng)

Github 開源地址：

https://github.com/nashsu/FreeAskInternet 

FreeAskInternet 是一個(gè)免費(fèi)開源的大語言模型工具，它結(jié)合了多個(gè)先進(jìn)的大語言模型來提供搜索和答案生成的服務(wù)。

我們可以直接在本地安裝運(yùn)行，無需 GPU，看起來更像是一個(gè)各個(gè)大語言模型的搜索聚合器。

根據(jù)該項(xiàng)目的描述， FreeAskInternet 是使用大型語言模型（LLM）來生成答案，無需依賴圖形處理單元（GPU）。用戶提出問題后，系統(tǒng)會利用 SearXNG 進(jìn)行多引擎搜索，并將搜索結(jié)果與 ChatGPT3.5 語言模型結(jié)合，基于這些搜索結(jié)果生成答案。所有過程都在本地運(yùn)行，不需要 GPU 或者 OpenAI 或 Google 的 API 密鑰。

注：SearXNG 是一個(gè)免費(fèi)的互聯(lián)網(wǎng)元搜索引擎，它聚合來自各種搜索服務(wù)和數(shù)據(jù)庫的結(jié)果，開源地址：

https://github.com/searxng/searxng 

主頁還是很簡潔的：

基于搜索的人工智能聊天界面：

支持多個(gè)大語言模型和自定義的大語言模式（如 ollama）：

總結(jié)下來 FreeAskInternet 的特點(diǎn)有：

• 免費(fèi)開源，我們可以本地自己安裝完成。

• 使用了 ChatGPT3.5、Qwen、Kimi、致普AI 等 API，用戶無需擁有這些 API 的密鑰即可使用它們。

• 由于使用了免費(fèi)的 API，與通常需要GPU來運(yùn)行的大語言模型不同，F(xiàn)reeAskInternet 不需要 GPU 即可運(yùn)行，降低了用戶的硬件要求。

• 我們也可以自定義大語言模型，如 ollama（下載地址：

https:/// 

• 這為用戶提供了更多的靈活性和個(gè)性化選項(xiàng)。

• 安裝簡單，通過 Docker Compose 一個(gè)流行的容器編排工具，用戶可以快速部署 FreeAskInternet，簡化了安裝和配置過程。

FreeAskInternet 工作原理：用戶在界面輸入的問題，SearXNG 進(jìn)行多引擎搜索，搜索完成后，系統(tǒng)會自動爬取并收集搜索結(jié)果中的鏈接內(nèi)容，然后將這些內(nèi)容傳遞給選定的LLM（Large Language Models：大語言模型），如 ChatGPT3.5、Kimi、Qwen、ZhipuAI 或自定義的 ollama，這些模型利用傳遞的內(nèi)容作為參考，生成內(nèi)容并回答用戶的問題。

安裝使用

。