# 使用 Ollama 在本地运行大模型 + OpenWebUI 搭建私人 AI 助手完整指南
## 背景
调用 OpenAI、Claude 这些云端大模型 API 确实方便，但有个问题始终让人膈应：隐私。把自己的数据发送到第三方服务器，说不担心那是假的。还有网络延迟、API 账单、以及某天服务突然不可用的风险。
所以最近越来越多人在聊「本地大模型」。Ollama 出来之后，这事儿突然变得特别简单——一行命令就能跑起来。支持 Mistral、LLaMA、Qwen 这些主流开源模型。配上 OpenWebUI， Web 界面也有了，完全离线、完全私密。
## 这篇解决什么问题
很多开发者想本地跑大模型，但被这些问题拦住了：
1. 环境配置太麻烦——Python、CUDA、依赖冲突，一套下来半天没了
2. 模型太多不知道选哪个——参数规模、硬件要求、效果表现，各有各的说法
3. 只有命令行不够直观——想给团队其他人用，命令行实在不方便
4. 性能不知道怎么调——硬件就这么多，怎么才能跑得流畅
这篇文章就是来解决这些的。手把手，从零开始。
## 步骤一：装 Ollama
Ollama 支持 macOS、Linux 和 Windows。设计理念就是「下载即运行」，不用配这配那。
**Linux/macOS 安装：**
“`bash
curl -fsSL https://ollama.com/install.sh | sh
“`
**验证：**
“`bash
ollama –version
“`
看到版本号就对了。
## 步骤二：选模型并运行
Ollama 官方模型库里有不少选择：
– **Llama 3** — Meta 的最新开源模型，对话能力很强
– **Qwen** — 阿里开源，中文表现尤其好
– **Mistral** — 欧洲团队做的，效率和质量平衡做得不错
– **Phi-3** — 微软的轻量级选手，显卡不够好的可以试试
**下载模型：**
“`bash
# 推荐先试 Qwen，配置要求相对友好
ollama pull qwen:7b
# 或者 Llama 3
ollama pull llama3
“`
第一次下载要等一会儿，取决于网络。模型会存到 `~/.ollama/models`。
**直接运行：**
“`bash
ollama run qwen:7b
“`
现在就能对话了。输入问题，回车发送。输入 `/bye` 退出。
## 步骤三：装 OpenWebUI
命令行能用，但想分享给团队成员、想要更舒服的体验，Web 界面更合适。OpenWebUI 功能挺全的——多用户、语音输入、代码高亮、插件支持，都有。
**Docker 方式安装（最简单）：**
“`bash
# 没有 Docker 的话先装一个
# Ubuntu: sudo apt-get install docker.io
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
–name open-webui \
–restart always \
ghcr.io/open-webui/open-webui:main
“`
**访问：**
浏览器打开 `http://localhost:3000`。第一次用需要注册管理员账号，之后就能随便用了。
## 步骤四：性能优化
**GPU 加速：**
电脑有 NVIDIA 显卡的话，Ollama 会自动用 CUDA 加速。看有没有生效——运行模型时观察显存占用，蹭蹭往上涨就对了。
**调整上下文长度：**
默认 2048 token 够用，但如果要处理长文本，可以这样：
“`bash
ollama run qwen:7b –context 8192
“`
**批量推理：**
需要一次性处理大量文本可以用 API：
“`bash
curl http://localhost:11434/api/generate -d ‘{
“model”: “qwen:7b”,
“prompt”: “请总结以下文章：…”,
“stream”: false
}’
“`
## 步骤五：进阶玩法——混合部署
Ollama 还能连接外部 API，不耽误用云端模型：
“`bash
export OPENAI_API_BASE=”https://api.openai.com/v1″
export OPENAI_API_KEY=”your-api-key”
“`
这样在 OpenWebUI 里可以随时切换本地模型和云端模型，看心情选。
## 跑起来的效果
全部搞定之后，你会得到：
1. **本地大模型服务** — 7B 模型大概吃 4-8GB 显存或内存
2. **Web 聊天界面** — 手机电脑都能打开，界面挺清爽
3. **API 服务** — `http://localhost:11434`，兼容 OpenAI 格式
4. **完全离线** — 断网也能用
实际跑了一下，Qwen:7b 在 RTX 3060 上大概 20-50 tokens/秒。对话、写代码辅助、日常问题，这个速度足够了。
## 总结
Ollama + OpenWebUI 这套组合下来，本地跑大模型这件事变得非常平易近人。好处很明显：
– **隐私安全** — 数据不出机器，不用担心泄露
– **成本可控** — 一次性硬件投入，没有按量计费的焦虑
– **稳定** — 不看网络脸色，不受第三方服务波动影响
– **灵活** — 模型可以自己选，插件可以自己装
个人开发者、小团队、或者对数据合规有要求的企业，这套方案都值得试试。开源模型的能力也在持续进步，本地大模型能做的事会越来越多。今天动手，明天就能用上。