在本地部署你的私有大语言模型：Ollama 完全指南

为什么要在本地部署 LLM？

在本地运行大语言模型有几个明显的好处：

• 隐私保护：数据不离开你的电脑
• 零成本：不需要付费的 API
• 无限制：没有速率限制和内容审查
• 离线可用：不依赖网络

安装 Ollama

Ollama 是目前最简单的本地 LLM 部署工具。

# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.com/install.sh | sh

下载和运行模型

# 下载并运行 Llama 3
ollama run llama3
# 下载 Code Llama（代码专用）
ollama run codellama
# 查看已下载的模型
ollama list

通过 API 调用

Ollama 提供了兼容 OpenAI 的 API：

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "你好，请介绍一下你自己"
}'

性能优化建议

1. 选择适合你硬件的模型大小
2. 使用量化版本减少内存占用
3. 适当调整上下文窗口大小

总结

本地 LLM 已经足够实用，特别适合日常的编码辅助和文本处理任务。试试看吧！