|
1 首先下載ollama 打開網(wǎng)址：https:///（注意前面有沒有www），無需魔法工具。 點擊“Download”  選擇你電腦對應(yīng)的版本：  下載之后安裝，安裝成功后，會出現(xiàn)這樣的ollama標(biāo)志：  或者用“cmd”命令，打開終端，輸入： ollama --version 終端響應(yīng)命令，出現(xiàn)版本號，則說明ollama已經(jīng)安裝成功，并且運行。 ollama version is 0.5.7 2 下載deepseek-r1:1.5b 在ollama官網(wǎng)上點擊“Models”  看看有哪些模型：  點擊“deepseek-r1”,具體看看細節(jié)。  ollama run deepseek-r1，命令，默認(rèn)安裝7b模型。 我們要根據(jù)自己電腦配置來選擇模型，模型越小，跑得越快。我的顯卡不夠，但是我的內(nèi)存有40G，我決定用我的內(nèi)存來跑。一般的，空閑的內(nèi)存是模型大小的兩倍，才能跑起這個模型，比如7b模型，大小是4.7G，那么你空閑的內(nèi)存要大于10G才行（我發(fā)現(xiàn)它的模型大小，比huggingface的模型要小得多，huggingface上的7b模型，大小約是14G）。 我們先從最簡單的模型開始下載，在終端輸入： ollama pull deepseek-r1:1.5b 就會開始下載“deepseek-r1:1.5b”模型（說明：無需科學(xué)上網(wǎng)，在huggingface上下載模型，還需要科學(xué)上網(wǎng)），我的下載速度約為2-10M/s。 下載成功后，我們進行驗證，在終端輸入： ollama list 出現(xiàn)已安裝的模型的列表，說明安裝成功： NAME ID SIZE MODIFIED deepseek-r1:1.5b a42b25d8c10a 1.1 GB 11 seconds ago 3 試用deepseek-r1 在終端運行： ollama run deepseek-r1:1.5b 然后就可以跟她對話了：  開始，我發(fā)現(xiàn)不能顯示思考部分，于是就加了“--verbose”顯示中間過程。 ollama run deepseek-r1:1.5b --verbose 以下是終端的一些簡單用法，更詳細的教程可參考o(jì)llama的教程。 1）/? 獲得幫助 2）/? set 獲得set子命令的幫助  3）/clear 清除歷史會話 4）/bye 退出模型，回到cmd命令 5）/show 顯示模型細節(jié)  4 更改模型的目錄 默認(rèn)模型的文件存儲在： “C:\Users\Administrator\.ollama\models” 具體到個人，路徑可能稍有不同。 我們查看models文件夾大小，約為1G，說明deepseek-r1:1.5b確實存在這。 我們將models下面的兩個子文件夾剪切到想要更改模型的目錄： “D:\Ollama\Models”（可以自定義） 這時，再次依照“3”來運行大模型，發(fā)現(xiàn)會出錯。 我們通過更改環(huán)境變量，來改變ollama模型的文件存儲位置。 點擊windows窗口圖標(biāo)，搜索“環(huán)境變量”：  點擊“編輯系統(tǒng)環(huán)境變量”：  再點擊下方的“環(huán)境變量”： 在“系統(tǒng)變量”的下方點擊“新建”，輸入變量名和變量值（變量值就是之前設(shè)定的目錄）： 點擊“確定”，設(shè)定完環(huán)境變量后，重啟電腦，再次進行“3”來運行大模型，如果能夠正常運行大模型，說明ollama模型默認(rèn)存儲位置更改成功。 5 各種模型運行時的比較 這里著重比較其運行速度。 分別下載了1.5b、7b、32b大模型： 首先運行1.5b的大模型： ollama run deepseek-r1:1.5b --verbose 裝載之后，內(nèi)存增加5%（我是40G的內(nèi)存） 然后問同樣的問題：“你好，請詳細介紹什么是人工智能？” 我們看到速度可以達到29.08 tokens/s 運行7b的大模型： ollama run deepseek-r1:7b --verbose 裝載之后，內(nèi)存增加14%（我是40G的內(nèi)存） 然后問同樣的問題：“你好，請詳細介紹什么是人工智能？” 我們看到速度可以達到5.02 tokens/s，這速度勉強還能接受。 運行32b的大模型： ollama run deepseek-r1:32b --verbose 裝載之后，內(nèi)存增加48%（我是40G的內(nèi)存） 然后問同樣的問題：“你好，請詳細介紹什么是人工智能？” 我們看到速度可以達到1.26 tokens/s，這速度有點慢，但是也值得的，畢竟我的筆記本電腦運行了堪比ChatGPT o1-mini的大模型。 6 總結(jié) 用ollama下載大模型與用huggingface下載，主要區(qū)別有： 1）huggingface下載需要科學(xué)上網(wǎng)，而ollama不需要。 2）同樣規(guī)格的模型，ollama下載的比huggingface要小3-4倍（有哪位好心人知道原因，科普一下）。 3）同樣規(guī)格的模型，ollama推理運行速度比huggingface要快3-4倍。 接下來的研究方向： 1）使用Web UI，搭建本地知識庫問答。 2）使用ollama的API，實現(xiàn)自已的應(yīng)用程序。 3）結(jié)合LangChain，實現(xiàn)各種功能的智能體。 |
|
|
