|
我有一名AI助手，名字叫'老六'。為什么呢？是因?yàn)樗袝r(shí)候會(huì)一本正經(jīng)的胡說(shuō)八道。 沒(méi)錯(cuò)，這是大模型的缺點(diǎn)——'幻覺(jué)'。所以LLMs+知識(shí)庫(kù)是解決'幻覺(jué)'的方法。 同時(shí)對(duì)于企業(yè)來(lái)說(shuō)，需要考慮信息安全，企業(yè)私有的知識(shí)庫(kù)顯然不能利用公域的大模型。那么搭建一套基于本地大模型的個(gè)人/企業(yè)知識(shí)庫(kù)，是一個(gè)很好的解決方案。 1. 搭建本地大模型 安裝Ollama 我們先進(jìn)入Ollama的官網(wǎng)，下載對(duì)應(yīng)操作系統(tǒng)的安裝包。下載完成后，直接安裝即可，沒(méi)有任何選項(xiàng)。 https://
拉取大模型 在Ollama的官網(wǎng)上可以進(jìn)入Models頁(yè)面中查看可以下載的模型，其中Meta的Llama2 7b版本需要大概8GB內(nèi)存就可以跑起來(lái)。如果你條件足夠，可以跑13b和70b版本，分別對(duì)應(yīng)16GB和64GB內(nèi)存。除了Meta的Llama模型，你也可以下載其它的模型。
打開(kāi)終端，鍵入如下代碼，即可自動(dòng)下載模型。 ollama run llama2
等待下載完成后，你就可以直接在終端中與大模型進(jìn)行對(duì)話了。怎么樣，如此簡(jiǎn)單你就擁有了一個(gè)屬于你自己私人的chatAI。 但是不是覺(jué)得終端里運(yùn)行對(duì)話不那么好看，你希望在chatGPT那樣的網(wǎng)頁(yè)上進(jìn)行對(duì)話。沒(méi)問(wèn)題，讓open WebUI來(lái)幫你解決問(wèn)題。 2. 搭建用戶界面 Open WebUI是一個(gè)可擴(kuò)展的、功能豐富的、用戶友好的自托管網(wǎng)頁(yè)用戶界面，旨在完全離線運(yùn)行。它支持各種LLM運(yùn)行程序，包括與Ollama和openAI兼容的API。 安裝Docker 在此之前，需要先安裝Docker，它就像一個(gè)容器，為每個(gè)項(xiàng)目裝載了必備的環(huán)境和必要條件。 首先我們?nèi)ocker官網(wǎng)，下載Docker Desktop的安裝包，并進(jìn)行安裝。
安裝完成后，等待程序加載完成，即可進(jìn)入Docker。如果你是首次使用，則Containers中是沒(méi)有任何項(xiàng)目的。 安裝open WebUI 剛才已經(jīng)裝完ollama以及成功安裝并運(yùn)行模型后。在終端中運(yùn)行以下代碼，即可開(kāi)始安裝WebUI。 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待下載和安裝完成后，進(jìn)入Docker Desktop中，即可看見(jiàn)安裝成功的WebUI項(xiàng)目。
此時(shí)，進(jìn)入任意瀏覽器中，在地址欄中輸入：http://localhost:3000 即可訪問(wèn)WebUI。
首次登錄，輸入郵箱密碼注冊(cè)，即可登錄。
選擇模型llama2，即可在對(duì)話框中輸入文字，開(kāi)始對(duì)話。界面是不是很熟悉，很像chatGPT，用著順手多了。 open WebUI還有很多其它功能，比如它本身自帶RAG。可以在對(duì)話框中輸入“#”，然后跟上網(wǎng)址，即可訪問(wèn)網(wǎng)頁(yè)的實(shí)施信息，并進(jìn)行內(nèi)容生成。 還可以上傳文檔，基于文本進(jìn)行更深層次的知識(shí)交互。如果你對(duì)知識(shí)庫(kù)的要求不高，做到這一點(diǎn)以后，基本能滿足大多數(shù)個(gè)人的需求了。 3. 與知識(shí)庫(kù)相連 如果你對(duì)知識(shí)庫(kù)交互有更大的需求，可以安裝以下這款應(yīng)用。 AngthingLLM https:// 這是一個(gè)可以基于大模型的知識(shí)庫(kù)交互軟件，可以應(yīng)用本地大模型，或調(diào)用公域大模型API。知識(shí)庫(kù)也同樣可以使用本地的，而且?guī)缀醪徽加煤艽蟮馁Y源。
完成安裝后，先會(huì)要求配置大模型。這里可以選擇Ollama的本地模型，選擇Llama2 7b。
然后會(huì)讓你選擇嵌入模式和向量數(shù)據(jù)庫(kù)，我們選擇默認(rèn)的即可，或者接入外部API。
配置完成后，再為你的工作空間起個(gè)名字，即可進(jìn)入AnythingLLM中。
在正式使用前，你需要上傳你的知識(shí)文檔，支持多種形式，但圖片形式PDF不可讀取。
最后，你就可以在對(duì)話框中，和你的知識(shí)進(jìn)行對(duì)話交流了。
這樣，你就擁有了一個(gè)本地化的大模型，且能和你自己的知識(shí)庫(kù)交互，信息安全，內(nèi)容可靠。還等什么，趕緊配置起來(lái)吧。  —— E N D —— 文字：Jason 封面、配圖：GPT4 DALLE3 MJ |
|
|
