LLMs之Llama Coder：llama-coder的簡介、安裝和使用方法、案例應(yīng)用之詳細攻略

llama-coder的簡介

Llama Coder 是一個更好的自托管的 VS Code 插件，用來替代 Github Copilot。Llama Coder 使用 Ollama 和 codellama 提供在你硬件上運行的自動補全功能。最適合搭配 Mac M1/M2/M3 或 RTX 4090 使用。

GitHub地址：GitHub - ex3ndr/llama-coder: Replace Copilot local AI

VS Code 插件：Llama Coder - Visual Studio Marketplace

1、特點

>> 與 Copilot 一樣出色
>> 快速。在消費級 GPU 上運行良好。建議使用 Apple Silicon 或 RTX 4090 以獲得最佳性能。
>> 無遙測或跟蹤
>> 適用于任何編程語言或自然語言。

llama-coder的安裝和使用方法

1、安裝

推薦硬件

>> 最低要求 RAM: 16GB 是最低要求，越多越好，因為即使是最小的模型也占用 5GB 的 RAM。

>> 最佳方式：配備 RTX 4090 的專用機器。在該機器上安裝 Ollama，并在擴展設(shè)置中配置端點以卸載到該機器。

>> 次佳方式：運行在擁有足夠 RAM 的 MacBook M1/M2/M3（RAM 越多越好，但額外 10GB 即可滿足要求）。對于 Windows 筆記本：如果配備合適的 GPU，運行良好，但建議使用配備良好 GPU 的專用機器。如果你有一臺專用的游戲 PC，效果非常好。

本地安裝

在本地機器上安裝 Ollama，然后在 VSCode 中啟動擴展，一切應(yīng)該正常工作。

遠程安裝

在專用機器上安裝 Ollama，并在擴展設(shè)置中配置端點。Ollama 通常使用端口 11434 并綁定到 127.0.0.1，如需更改，你需要將 OLLAMA_HOST 設(shè)置為 0.0.0.0。

模型

目前 Llama Coder 僅支持 Codellama。模型通過不同方式量化，但我們的測試顯示 q4 是運行網(wǎng)絡(luò)的最佳方式。當選擇模型時，模型越大，表現(xiàn)越好。始終選擇你機器上能夠支持的最大尺寸和最大量化的模型。默認模型為 stable-code:3b-code-q4_0，應(yīng)該在任何地方都能運行，并優(yōu)于大多數(shù)其他模型。

m - 在 MacOS 上運行緩慢
g - 在較舊的 NVidia 顯卡（30 系列之前）上運行緩慢

llama-coder的案例應(yīng)用

持續(xù)更新中……