先说结论:本地跑模型,门槛比你想象的低
一提到”本地部署大模型”,很多人脑子里浮现的是满机柜的 GPU 和看不懂的推理框架。其实这两年工具链已经把门槛压得很低了:Ollama 就是目前最省心的那个入口——一行命令装好,一行命令拉模型,一行命令开始对话,自带 HTTP API,还兼容 OpenAI 的接口格式,生态里的大多数客户端都能直接接。
本地跑模型图什么?三件事:数据不出门(文档、代码、聊天记录都在自己机器上推理)、没有按量账单(电费之外零成本,半夜批量跑任务也不心疼)、离线可用(断网照样工作)。代价也很明确:模型规模受自己硬件限制,答不出云端旗舰模型的效果。
本篇主线:搞清硬件门槛 → 三种路线选一条装好 → 拉模型对话 → 用 API 接进自己的工具链 → 把关键参数调明白。模型本身怎么选、量化版本什么意思,可以先看系列上一篇开源模型怎么选,本篇专注把 Ollama 这套运行时部署好、用顺。
Ollama 是什么
Ollama 是一个本地大模型运行时,可以把它理解成”模型界的 Docker”:
- 模型管理像拉镜像。
ollama pull 模型名把模型权重、配置打包下载到本地仓库,ollama list查看,ollama rm删除,版本用标签区分(如qwen2.5:7b-instruct-q4_K_M)。 - 推理服务开箱即用。启动后监听本机 11434 端口,既能在终端里直接对话,也提供 HTTP API 给其他程序调用。
- 自动调度硬件。有 NVIDIA GPU 就用 GPU 推理,没有就退回 CPU + 内存,还支持 Apple 芯片的 Metal 加速,不需要自己折腾 CUDA 环境。
- 底层是 llama.cpp。GGUF 格式的量化模型是它的主力,这也是它能在消费级硬件上跑起来的原因。
Ollama 的定位不是最强的推理引擎,而是最低门槛的那个:先让模型在你机器上跑起来,跑顺了再谈调优。
硬件门槛:先对号入座
本地推理的瓶颈主要是显存(有 GPU 时)或内存(纯 CPU 时):模型权重必须完整装进显存/内存才跑得动,装不下就只能 CPU、内存、硬盘来回倒腾,速度惨不忍睹。下表是常见规模在 Q4 量化下的经验值:
| 模型规模 | 权重大小(Q4 量化) | 最低显存/内存 | 舒适配置 | 典型用途 |
|---|---|---|---|---|
| 1.5B–3B | 1–2.5 GB | 4 GB | 6 GB | 简单分类、摘要、小设备尝鲜 |
| 7B–8B | 4.5–5.5 GB | 8 GB | 10–12 GB | 日常对话、代码补全、文档问答 |
| 14B | 8.5–10 GB | 12 GB | 16 GB | 质量明显更好,推理与写作 |
| 32B | 19–21 GB | 24 GB | 32 GB | 接近中杯云端模型的体验 |
| 70B | 40–43 GB | 48 GB | 64 GB 以上 | 多卡或大内存机器的领域 |
几个要点:
- 表里是只算权重的数字。实际运行还要留上下文(KV Cache)的空间,长上下文会再吃掉几 GB,所以”最低”那一列是能启动、不是能舒服用。
- 纯 CPU 也能跑 7B,只是生成速度大概每秒几个 token,只适合批处理、不适合聊天。内存带宽决定 CPU 推理速度,DDR5 双通道会比单通道快不少。
- 没有独显的 VPS 也不是不能玩:2 核 4 GB 的小机器跑 3B 模型做摘要、分类完全够用。先按自己的硬件选规模,别硬上大模型。
安装路线一:官方脚本(裸机 / VPS 首选)
在 Linux 服务器上,最稳妥的是官方安装脚本,它会装好二进制并注册 systemd 服务:
curl -fsSL https://ollama.com/install.sh | sh
# 验证安装ollama --versionsystemctl status ollama装完服务默认就已启动并设为开机自启,监听 127.0.0.1:11434。直接拉个模型就能用:
ollama pull qwen2.5:7bollama run qwen2.5:7b进入对话界面后输入问题即可,/bye 退出。macOS 和 Windows 则去官网下载安装包,装完是带托盘图标的桌面程序,命令行用法完全一致。
安装路线二:Docker 部署
如果你习惯把所有服务都收进 Compose 管理(比如和自建的 Open WebUI 放在同一台机器上),用官方镜像:
services: ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - "127.0.0.1:11434:11434" volumes: - ollama_data:/root/.ollama
volumes: ollama_data:docker compose up -ddocker exec -it ollama ollama pull qwen2.5:7bdocker exec -it ollama ollama list模型文件存在数据卷里,容器重建不会丢。注意端口我只绑了 127.0.0.1——原因见后面的安全一节,这一条非常关键。
安装路线三:Docker + GPU 直通
有 NVIDIA 显卡时,在上面的 Compose 基础上加 GPU 直通,推理速度直接上一个台阶:
services: ollama: image: ollama/ollama:latest container_name: ollama restart: unless-stopped ports: - "127.0.0.1:11434:11434" volumes: - ollama_data:/root/.ollama deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu]
volumes: ollama_data:前提是宿主机装好了 NVIDIA 驱动和 NVIDIA Container Toolkit。GPU 直通本身的驱动、工具包安装细节,本系列不展开,站内已有一篇专门讲的:Docker 调用 NVIDIA GPU,先把那篇配通再回来加这段配置。
验证 GPU 是否真在干活:
# 对话进行中另开一个终端执行ollama ps# PROCESSOR 一列显示 100% GPU 才算全程在显卡上跑;显示 CPU/GPU 混合说明显存不够、部分层被卸载到了内存nvidia-smi日常命令速查
ollama pull llama3.1:8b # 拉模型(不带标签默认 latest)ollama run llama3.1:8b # 拉取并直接对话ollama list # 本地已有模型ollama ps # 正在内存/显存里运行的模型ollama show qwen2.5:7b # 看模型详情与参数ollama stop qwen2.5:7b # 立即卸载模型释放显存ollama rm qwen2.5:7b # 删除本地模型文件一个容易忽略的点:模型在最后一次请求后默认还会在显存里保留 5 分钟才卸载,方便连续对话。ollama ps 里能看到到期时间,显存紧张时用 ollama stop 手动释放,或者把环境变量 OLLAMA_KEEP_ALIVE 调小。
API 调用:原生端点与 OpenAI 兼容端点
Ollama 真正的价值不在终端聊天,而在 API——接进脚本、接进自己的应用、接进各种现成客户端。它提供两套端点:
| 端点 | 风格 | 典型路径 | 适合场景 |
|---|---|---|---|
| 原生 API | Ollama 自有格式 | /api/generate、/api/chat、/api/tags | 自己写脚本、要用 Ollama 特有参数时 |
| OpenAI 兼容 API | 与 OpenAI 同格式 | /v1/chat/completions、/v1/models | 接现成的 OpenAI 生态客户端与 SDK |
原生端点调用示例:
curl http://localhost:11434/api/chat -d '{ "model": "qwen2.5:7b", "messages": [ {"role": "user", "content": "用一句话解释什么是向量数据库"} ], "stream": false}'不带 stream: false 时默认是流式返回——一行一个 JSON 分片往外吐,脚本里处理要注意;调试时先关掉流式,看完整响应更省事。
OpenAI 兼容端点则让所有按 OpenAI 写的工具无痛接入,只需要改地址和模型名,API Key 随便填一个非空字符串:
curl http://localhost:11434/v1/chat/completions -d '{ "model": "qwen2.5:7b", "messages": [ {"role": "user", "content": "写一个 bash 一行命令,统计当前目录下所有 .log 文件的总行数"} ]}'Python 里同样如此:
from openai import OpenAI
client = OpenAI( base_url="http://localhost:11434/v1", api_key="ollama", # Ollama 不校验 key,但 SDK 要求非空)
resp = client.chat.completions.create( model="qwen2.5:7b", messages=[{"role": "user", "content": "你好,介绍一下你自己"}],)print(resp.choices[0].message.content)记住一个原则:新项目优先接 /v1 兼容端点,生态工具全通用;只有需要 Ollama 特有能力时才用原生 API。
关键环境变量
裸机安装时改 systemd 服务,Docker 安装时写进 environment,常用的是这几个:
| 变量 | 默认值 | 作用 |
|---|---|---|
OLLAMA_HOST | 127.0.0.1:11434 | 监听地址与端口,改成 0.0.0.0:11434 才允许局域网/远程访问 |
OLLAMA_MODELS | ~/.ollama/models | 模型存放目录,系统盘小的时候指到大盘上 |
OLLAMA_NUM_PARALLEL | 1(新版为 4 起步视版本) | 单模型并行处理请求数,提高并发但更吃显存 |
OLLAMA_MAX_LOADED_MODELS | 按硬件推导 | 同时驻留显存的模型个数,多模型切换场景才需要动 |
OLLAMA_KEEP_ALIVE | 5m | 模型闲置多久后卸载,设 0 为用完即走 |
OLLAMA_CONTEXT_LENGTH | 4096(视版本) | 默认上下文长度,长文档场景要调大,代价是更吃显存 |
裸机改配置的标准做法是给 systemd 服务加覆盖文件:
sudo systemctl edit ollama在打开的编辑区里填:
[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="OLLAMA_MODELS=/data/ollama/models"保存后重启生效:
sudo systemctl daemon-reloadsudo systemctl restart ollamaDocker 路线则直接写进 Compose 的 environment: 段,重建容器即可。
远程访问:先把安全说清楚
把 OLLAMA_HOST 改成 0.0.0.0 之后,任何能连到 11434 端口的人都能免费用你的算力——Ollama 本身没有任何鉴权机制,API Key 参数只是摆设、不做校验。
WARNING绝对不要把 11434 端口直接暴露在公网上。网上长期有扫描器专门搜裸奔的 Ollama 实例,轻则被白嫖算力,重则被当成跳板和数据窃取通道。需要远程用时,只走这三种方式:SSH 隧道转发、内网组网、或者套一层带鉴权的反向代理,并且防火墙只放行可信来源。
本机或内网自用时,最省事的是 SSH 隧道:
# 在自己电脑上执行,把服务器的 11434 映射到本机ssh -L 11434:127.0.0.1:11434 user@your-server这样服务本身继续只监听服务器的 127.0.0.1,你本机的程序访问 localhost:11434 就等于访问服务器,既加密又不用改任何监听配置。
性能调优要点
模型跑起来之后慢,多半不是 Ollama 的问题,而是参数和硬件没对齐。按这个顺序排查:
- 先看卸载比例。
ollama ps的 PROCESSOR 列如果是 CPU/GPU 混合,说明显存装不下全部层,速度会被内存带宽拖住。要么换小一号的模型,要么换更低的量化,要么加显存,没有第四条路。 - 量化版本别乱选。同一模型的不同量化标签(如
q8_0、q4_K_M、q3_K_M)是体积与质量的取舍:Q4_K_M 是多数官方标签的默认档,质量损失小、体积适中,是默认推荐;显存实在紧张再降到 Q3,低于 Q3 质量下降会变得明显。 - 上下文长度按需给。请求里可以通过
options传num_ctx临时放大上下文:
curl http://localhost:11434/api/chat -d '{ "model": "qwen2.5:7b", "messages": [{"role": "user", "content": "总结这篇长文……"}], "stream": false, "options": {"num_ctx": 16384}}'上下文翻倍,KV Cache 的显存占用也跟着翻倍。不要无脑把 num_ctx 拉到模型标称上限,先从 8192 起步,按实际文档长度给。
- 并发别贪多。
OLLAMA_NUM_PARALLEL调大能同时处理更多请求,但每个请求都要单独占一份 KV Cache,显存不够时反而互相挤兑、整体变慢。个人自用保持默认即可。
常见问题与排障
Q:ollama run 第一次特别慢,是不是装坏了?
不是。首次运行要把权重从硬盘加载进显存/内存,7B 模型十几秒很正常。之后用 ollama ps 能看到模型驻留中,连续对话就快了;隔了超过 5 分钟再问,又会重新加载一次。
Q:拉模型中途断网/报错,重跑会从头下载吗?
不会。ollama pull 支持断点续传,重新执行同一条命令会接着未完成的分片继续。但如果反复卡在同一个百分比,先检查磁盘空间——模型目录所在分区满了是最常见的原因。
Q:明明有独显,速度却和 CPU 差不多?
按顺序查:ollama ps 看 PROCESSOR 列是不是 100% GPU;nvidia-smi 看推理时显存有没有涨;Docker 部署的检查 GPU 直通配置有没有生效(容器里执行 nvidia-smi 能不能看到卡)。还有一种情况是模型太大被部分卸载,见调优第 1 条。
Q:局域网其他设备连不上 API?
先确认 OLLAMA_HOST 已改成 0.0.0.0:11434 并重启了服务,再查服务器防火墙有没有放行 11434。Docker 部署的注意端口映射别再绑 127.0.0.1。改完监听等于把服务开放给整个局域网,务必只在可信网络里这么做。
Q:磁盘被模型吃满了怎么办?
ollama list 看每个模型占多大,ollama rm 模型名 删不用的。同一模型拉了多个量化标签是重灾区,留一个常用的就行。长期玩建议一开始就用 OLLAMA_MODELS 把模型目录放到大盘上。
Q:API 返回里中文是乱码/被转义?
那是 JSON 的 Unicode 转义,不是乱码,任何标准 JSON 解析库读出来都是正常中文。用 curl 直接看原始输出时加 -s 并把结果管道给 jq 就能正常显示。
Q:想换个端口,11434 被占了?
改 OLLAMA_HOST 为 127.0.0.1:新端口 即可,客户端调用时把地址里的端口同步改掉。
小结
- Ollama 是本地跑开源模型门槛最低的运行时:模型管理像拉镜像,自带 API 且兼容 OpenAI 格式。
- 动手前先对硬件表:显存/内存决定你能跑多大的模型,Q4 量化下 8 GB 能舒服跑 7B–8B。
- 部署三条路线:裸机用官方脚本+systemd,容器化用官方镜像,有 N 卡再加 GPU 直通。
- 11434 端口没有任何鉴权,永远不要裸奔公网,远程访问走 SSH 隧道或带鉴权的反代。
- 调优先看
ollama ps的卸载比例,再谈量化与num_ctx,顺序别反。
下一篇我们聊怎么给 Ollama 套一个像样的聊天界面——不用敲命令、能管会话、能传文档的那种。