## 为什么本地部署

用云端 API（比如 OpenAI Claude）有几个麻烦。每次调用都要把数据发给第三方，处理敏感信息时不踏实。网络不好的时候特别耽误事——正急着处理问题，API 显示连接超时，体验很差。另外调用费用也不低，大量实验跑下来账单惊人。

本地部署大模型能解决这些问题。Ollama 专门为本地运行设计，开箱即用，配置简单，离线运行不用担心数据外泄。

## 环境准备与安装

先看机器配置。Ollama 对硬件有要求：至少 8GB 内存才能跑小模型（如 Phi-3），7B 参数模型建议 16GB 以上内存。显卡不是必须的，但有 NVIDIA 显卡会快很多。

Linux 上安装：

“`bash
curl -fsSL https://ollama.com/install.sh | sh
“`

验证安装：

“`bash
ollama –version
“`

## 模型下载与运行

Ollama 模型库里有常见的开源模型。下载模型：

“`bash
# 下载 Phi-3（约 2.3GB）
ollama pull phi3

# 或下载 Mistral 7B（约 4GB）
ollama pull mistral

# 多模态模型
ollama pull llava
“`

下载需要点时间，看网络情况。完成后启动服务：
“`bash
# 启动服务（默认端口 11434）
ollama serve
“`

另一个终端测试对话：

“`bash
ollama run phi3 “你好，请介绍一下自己”
“`

## API 服务配置

Ollama 自带 REST API，监听 11434 端口。HTTP 请求就能对话，方便集成到应用。

确保服务运行后测试 API：

“`bash
# 测试 API
curl http://localhost:11434/api/tags
“`

返回已下载的模型列表：
“`json
{
“models”: [
{
“name”: “phi3:latest”,
“size”: 2360787600,
“modified_at”: “2024-01-15T10:30:00Z”
},
{
“name”: “mistral:latest”,
“size”: 4109854720,
“modified_at”: “2024-01-14T15:20:00Z”
}
]
}
“`

发送对话请求：
“`bash
curl http://localhost:11434/api/chat -d ‘{
“model”: “phi3”,
“messages”: [
{
“role”: “user”,
“content”: “用 Python 写一个快速排序函数”
}
],
“stream”: false
}’
“`

返回结果：
“`json
{
“message”: {
“role”: “assistant”,
“content”: “def quicksort(arr):\n if len(arr) <= 1:\n return arr\n pivot = arr[len(arr) // 2]\n left = [x for x in arr if x < pivot]\n middle = [x for x in arr if x == pivot]\n right = [x for x in arr if x > pivot]\n return quicksort(left) + middle + quicksort(right)\n\n# 示例使用\nnumbers = [3, 6, 8, 10, 1, 2, 1]\nprint(quicksort(numbers))”
},
“done”: true
}
“`

## Python 集成

把 Ollama 集成到 Python 项目，可以构建本地 AI 应用。以下是完整的助手类：

“`python
import requests
from typing import List, Dict, Optional

class LocalAIAssistant:
def __init__(self, model: str = “phi3”, base_url: str = “http://localhost:11434″):
self.model = model
self.base_url = base_url
self.api_url = f”{base_url}/api/chat”
self.history: List[Dict] = []

def chat(self, message: str, system_prompt: Optional[str] = None,
temperature: float = 0.7, max_tokens: int = 2048) -> str:
messages = []
if system_prompt:
messages.append({“role”: “system”, “content”: system_prompt})
messages.extend(self.history)
messages.append({“role”: “user”, “content”: message})

payload = {
“model”: self.model,
“messages”: messages,
“stream”: False,
“options”: {“temperature”: temperature, “num_predict”: max_tokens}
}

response = requests.post(self.api_url, json=payload, timeout=120)
if response.status_code != 200:
raise Exception(f”API 请求失败: {response.text}”)

result = response.json()
assistant_reply = result[“message”][“content”]
self.history.append({“role”: “user”, “content”: message})
self.history.append({“role”: “assistant”, “content”: assistant_reply})
return assistant_reply

def clear_history(self):
self.history = []

def list_models(self) -> List[Dict]:
response = requests.get(f”{self.base_url}/api/tags”)
return response.json()[“models”]

# 使用示例
if __name__ == “__main__”:
assistant = LocalAIAssistant(model=”phi3″)
assistant.chat(“解释 Python 装饰器”, system_prompt=”简洁回答”)
print(assistant.list_models())
“`

## 性能优化

运行本地大模型，合理配置能提升体验。内存有限时设置环境变量：
“`bash
export OLLAMA_RAM=8G
“`

NVIDIA 显卡用户安装 CUDA 驱动后，Ollama 会自动用 GPU 加速：
“`bash
nvidia-smi
“`

不同任务用不同模型：简单任务用 Phi3（快、省资源），复杂任务用 Mistral（效果好）。

## 常见问题

模型下载失败一般是网络问题，配置代理或用国内镜像站。

API 响应慢可以换更小的模型，或者减少 token 数量：
“`json
{
“model”: “phi3”,
“options”: {“num_predict”: 512}
}
“`

内存不足就关掉其他程序，或用更小的模型。

## 总结

本文介绍了 Ollama 本地部署大模型的方法，包括安装、API 调用和 Python 集成。本地部署能构建完全离线的 AI 应用，保护数据隐私，摆脱网络依赖，降低费用。

适合场景：处理敏感数据的企业、私有化部署的开发者、网络不稳定的远程环境。模型效果不如云端顶级 API，但日常开发和学习足够用。建议从 Phi3 开始试，根据需求再升级到更大参数的模型。