先说结论:选模型是一道算术题
上一篇我们用 Ollama 把本地大模型跑了起来,ollama run 一行命令很爽,但爽完之后问题立刻就来:模型库里几百个名字长得差不多的模型,到底下哪个?
- 同一个模型有十几个版本:7B、8B、14B、32B,Q4、Q5、Q8、FP16,Instruct、Coder、VL……下错一个,要么显存爆了跑不起来,要么跑起来了质量一言难尽。
- 网上的推荐帖大多只说”某某模型很强”,很少有人告诉你它在你这张显卡上到底能不能跑、能跑多快、要留多少余量。
这篇就把选型拆成四步可计算的动作:看懂名字 → 搞懂量化 → 算显存账 → 按用途对号入座。走完这四步,你在 Ollama 和 Hugging Face 上筛模型时,心里应该有一把尺子。
先把最重要的结论放前面:本地部署选模型的顺序是先算显存、再看量化、最后才比”谁更强”——跑不起来的模型,再强也和你无关。
第一步:看懂模型名
开源模型的名字不是随便起的,基本是一串结构化信息。以几个真实风格的名字为例:
Qwen3-32B-Instruct-2507Llama-3.1-8B-InstructDeepSeek-R1-Distill-Qwen-32BQwen3-30B-A3BMistral-Small-3.1-24B-Instruct-2503逐段拆解:
| 组成部分 | 例子 | 含义 |
|---|---|---|
| 系列名 | Qwen、Llama、DeepSeek、Mistral、Gemma、Phi | 出品方与模型家族,决定”血统”和中文/代码等基础倾向 |
| 版本号 | 3、3.1、2.5 | 同一系列的迭代代次,一般越新越好 |
| 参数规模 | 8B、32B | B 是 Billion(十亿),参数总量,直接决定体积和显存 |
| 角色后缀 | Instruct、Chat | 经过指令微调,能正常对话;没有这个后缀的是 Base 基座模型 |
| 能力后缀 | Coder、VL、Math | 专项强化:Coder 写代码,VL 带视觉(看图),Math 偏数学 |
| 特殊标记 | Distill、A3B | Distill 是蒸馏版;A3B 是 MoE 的激活参数量(见下) |
| 日期后缀 | 2507、2503 | 2025 年 7 月、2025 年 3 月发布的版本快照 |
这里有三个最容易踩的点:
第一,Base 和 Instruct 是两个物种。 Base 模型只会”续写文本”,你问它问题,它可能接着你的问题再编几个问题出来。日常对话、编程助手要的一律是带 Instruct 或 Chat 后缀的版本。下错 Base 模型是新手”模型怎么傻乎乎的”第一大原因,不是模型不行,是你拿错了。
第二,参数规模决定下限。 同一系列里,参数越大通常越聪明,但边际收益递减且成本陡增。粗略的体感分档:3B 以下适合简单分类、摘要类任务;7B~9B 是本地日常对话的起步线;14B~32B 质量明显上一个台阶,是当前本地部署的主力区间;70B 级别接近第一梯队闭源模型的体验,但硬件门槛陡峭。
第三,MoE 和稠密(Dense)要分清。 稠密模型推理时全部参数参与计算;MoE(混合专家)模型只激活一部分专家。名字里带 A数字B 的就是 MoE:
Qwen3-30B-A3B:总参数 30B,每次推理只激活约 3B。Mixtral-8x7B:总参数约 46.7B,激活约 12.9B。DeepSeek-V3:总参数 671B,激活约 37B。
MoE 的账要分开算:生成速度看激活参数量,占多少显存看总参数量。30B-A3B 跑起来有 3B 级别的速度,但 30B 的权重一个字节都不少地要装进显存或内存。很多人冲着”3B 的速度”去下 30B-A3B,然后在 16GB 显卡上当场爆显存,就是栽在这个误会里。
第二步:量化是怎么回事
模型权重原本是 FP16(半精度浮点)存储的,每个参数占 2 字节。32B 模型光权重就是约 64GB——没几张消费级显卡装得下。量化就是把每个参数用更少的比特表示,把体积压下来,代价是损失一点点精度。
本地部署最常见的量化格式来自 GGUF 生态(Ollama、llama.cpp 都用它),命名里的 K 指 K-quants 分块量化,M 指该档位的中等规模变体。速查表如下(体积以每个参数的平均字节数估算,含少量元数据开销):
| 量化格式 | 每参数约占 | 相对 FP16 体积 | 质量损失 | 定位 |
|---|---|---|---|---|
| FP16 / BF16 | 2.0 字节 | 100% | 无(基准) | 显存管够时的原汁原味 |
| Q8_0 | 约 1.03 字节 | 约 52% | 几乎无感 | 显存富裕时的首选 |
| Q6_K | 约 0.8 字节 | 约 41% | 极小 | 高质量与体积的平衡点 |
| Q5_K_M | 约 0.68 字节 | 约 35% | 小 | 质量敏感任务可用 |
| Q4_K_M | 约 0.58 字节 | 约 30% | 可感知但可接受 | 本地部署甜点位 |
| Q4_0 | 约 0.55 字节 | 约 28% | 略大于 Q4_K_M | 老格式,速度略快 |
| Q3_K_M | 约 0.42 字节 | 约 21% | 明显 | 只为塞进小显存时考虑 |
| Q2_K | 约 0.33 字节 | 约 17% | 大 | 极限场景,不推荐日常用 |
| IQ 系列 | 与同档 Q 相当 | 相当 | 同体积下略优于普通 Q | 配合 imatrix 校准的低比特方案 |
几个使用口径:
- Q4_K_M 是社区公认的甜点位。 体积只有 FP16 的三成左右,主流任务的质量损失大多数人感知不到,速度还因为数据量小而更快。本篇后面的显存速查表都以它为基准列。
- 量化损失不是均匀的。 写代码、做数学、长链推理这类对精度敏感的任务,低比特量化的掉点比闲聊明显得多;如果模型是拿来写代码的,预算允许时优先 Q5_K_M 或 Q6_K。
- Q3 以下(含 Q2)不要拿来当主力。省下的那点显存,换来的是逻辑开始飘、格式开始乱、重复率上升,省下的显存还不够你多开一会儿上下文的,买卖不划算。
- 同一量化档位下,文件实际大小会因模型结构(词表大小、是否带视觉编码器等)浮动 5%~10%,下载前以仓库文件列表里标注的实际大小为准。
第三步:算显存账——权重只是第一笔
新手算显存最常见的错误,是只算权重文件大小。一张显卡要装下的东西有三笔:
总需求 ≈ 权重大小 + KV Cache + 运行时开销第一笔:权重。 公式很简单:
权重大小(GB) ≈ 参数量(B) × 每参数字节数比如 14B 模型用 Q4_K_M:14 × 0.58 ≈ 8.1GB(实际文件约 9GB,多出的是词表与元数据,正常)。
第二笔:KV Cache。 这是注意力机制用来缓存历史 Token 的键值对,随上下文长度线性增长,而且经常是新手爆显存的真正元凶。它的大小由模型结构决定:
每 Token 的 KV(字节) = 层数 × KV 头数 × 每头维度 × 2(K 和 V) × 每元素字节数以 Llama 3.1 8B 为例:32 层、8 个 KV 头(GQA 分组注意力已经帮我们省了很多)、每头维度 128、FP16 存储:
每 Token KV = 32 × 8 × 128 × 2 × 2 = 131072 字节 ≈ 0.125MB开满 32K 上下文 = 0.125MB × 32768 ≈ 4GB也就是说,这个 8B 模型光 KV Cache 就能吃掉 4GB。好在现在主流推理框架都支持 KV Cache 量化(Ollama 可通过 OLLAMA_KV_CACHE_TYPE=q8_0 开启),Q8 量化后这笔账直接减半,质量影响很小。
第三笔:运行时开销。 计算图、激活值、框架自身占用,一般按 0.5~1.5GB 预留;多模态模型还要再算上视觉编码器。
把所有账汇总成速查表(权重为 GGUF 实际文件的常见大小,KV 按 FP16、32K 上下文估算,运行时开销按约 1GB 计):
| 参数规模 | FP16 权重 | Q8_0 权重 | Q4_K_M 权重 | KV Cache(32K) | Q4_K_M 总需求约 | 能舒适装下的配置 |
|---|---|---|---|---|---|---|
| 7B / 8B | 约 16GB | 约 8.5GB | 约 4.9GB | 约 2~4GB | 约 9GB | 12GB 显卡 |
| 14B | 约 29GB | 约 15.7GB | 约 9GB | 约 3~5GB | 约 14GB | 16GB 显卡 |
| 32B | 约 65GB | 约 34.8GB | 约 19.8GB | 约 4~8GB | 约 26GB | 32GB 显卡或双卡 |
| 70B | 约 141GB | 约 75GB | 约 40.5GB | 约 5~10GB | 约 48GB | 64GB 内存混跑或多卡 |
表里有几个口径要说清:
- KV Cache 一列随模型结构浮动很大:层数多、KV 头多的模型更吃 KV;开的上下文不是 32K 而是 8K 时,这笔账按比例除以 4。
- “总需求”超过显存不等于完全跑不了——Ollama 会把放不下的层卸载(Offload)到内存用 CPU 算,但速度会断崖式下跌。选型的标准应该是”全量装进显存”,而不是”能启动”,能启动但每秒吐三个字,那不叫能用。
- 没有独立显卡、纯靠内存跑(比如大内存的 Mac 或核显机器)同理,把表里的”显存”换成”可用内存”即可,只是速度预期要放低。
WARNING算账时最容易漏的就是 KV Cache:很多人照着权重大小买了张”刚好”的显卡,结果上下文一拉长就 OOM(显存溢出)。留白原则:总需求控制在显存的 85% 以内,剩下的留给上下文波动和系统占用。
第四步:按用途对号入座
算力账算清之后,才轮到”哪个系列强”。下面按用途给定位,不纠结某个具体小版本(版本迭代太快),记系列名和定位就够用很久:
| 用途 | 首选系列 | 定位与特点 |
|---|---|---|
| 中文对话、中文写作 | Qwen(通义千问) | 国产系列里中文语料与中文指令跟随最扎实,尺寸梯度最全,从 0.6B 到 200B+ 都有 |
| 中文对话备选 | GLM(智谱)、DeepSeek | GLM 中文与工具调用不错;DeepSeek 的对话版中文也在一线 |
| 写代码 | Qwen Coder、DeepSeek | Coder 专项系列在补全、改 Bug、读仓库上明显强于同尺寸通用模型 |
| 数学与深度推理 | DeepSeek R1 及其蒸馏版 | 会输出长思维链,慢但能啃硬题;蒸馏版把能力压进小尺寸,本地可跑 |
| 长文档处理 | Llama、Qwen、Mistral | 三家都有长上下文版本;选型时重点看下一节说的”实际可用长度” |
| 看图多模态 | Qwen VL、MiniCPM-V、InternVL | 名字带 VL/Vision 的才是多模态版;MiniCPM-V 在小尺寸下性价比突出 |
| 英文与通用 | Llama(Meta)、Mistral、Gemma(Google) | 生态最大、微调与量化资源最丰富;纯英文场景体验好 |
| 极小尺寸/端侧 | Phi(微软)、Gemma 小尺寸版、Qwen 小尺寸版 | 3B 上下干分类、摘要、格式化这类轻活,速度飞快 |
落到具体搭配上,给三套可以直接抄的组合:
- 16GB 显卡的均衡组合:主力 Qwen 14B 级 Instruct(Q4_K_M,约 9GB),再备一个同系列 Coder 版处理代码,显存还够两个模型热切换。
- 24GB 显卡的进阶组合:32B 级 Instruct(Q4_K_M,约 19.8GB)当主力,上下文开 16K~32K 都稳;这是目前本地体验的”甜点机”配置。
- 纯 CPU/大内存机器:优先考虑 MoE,比如 30B-A3B 这类总参不大、激活小的模型,Q4_K_M 装内存里跑,速度比同体积稠密模型友好得多。
选好主力模型只是开始:把它接进编程工具里当私有助手,看 Continue + 本地模型搭私有编程助手;想让多个应用共用同一个模型入口,看 LiteLLM 网关篇。
第五步:上下文长度的真相
模型介绍页上动辄写着 128K、256K、1M 上下文。先说清这个数字的含义:它只是”位置编码能编到的最大长度”,约等于能塞进去,不等于塞满了还能用好。实际使用中有三笔折损:
- 注意力衰减与”迷失中间”。 学术界著名的 Lost in the Middle 现象:长上下文里,模型对开头和结尾的内容记得牢,对中段内容的利用率明显下降。塞满 128K 时,中间那几万 Token 的关键信息可能被”读过但没读进去”。
- KV Cache 跟着爆。 上一节算过,32K 上下文就是几个 GB;真开到 128K,KV Cache 能再吃掉十几 GB,显存不够直接 OOM,或者被迫卸载到 CPU 慢如蜗牛。
- 速度变慢。 每次生成都要回看全部历史,上下文越长,每 Token 的计算量越大,长会话后半段肉眼可见地变卡。
经验口径:日常实际可用长度按标称的四分之一到二分之一估算比较稳妥。标称 128K 的模型,当 32K~64K 来用,体验和稳定性都在线;真有超长文档需求,优先考虑分块摘要、RAG 检索这类工程手段,而不是无脑堆上下文。另外推理型模型(R1 那类)自己输出的思维链也占上下文,留预算时要把这部分算进去。
第六步:实操——在 Ollama 和 Hugging Face 上筛模型
把前面的尺子落成具体动作。
在 Ollama 里筛:
# 看模型详情:参数量、量化、上下文都在里面ollama show qwen3:14b
# 看当前实际占用:谁在显存里、占了多少ollama ps
# 拉取指定量化版本:tag 里直接带量化名ollama pull qwen3:14b-instruct-q4_K_Mollama pull qwen3:32b-instruct-q8_0要点:Ollama 的默认 tag 往往已经是某个量化版本(常见是 Q4_K_M),ollama show 里会写明,别默认下到的就是原版 FP16。跑起来后用 ollama ps 确认 PROCESSOR 一列是 100% GPU——如果显示 CPU/GPU 混合,就是显存不够在卸载,回去换小一号的量化或尺寸。
在 Hugging Face 里筛(找 GGUF 文件时):
- 搜索时勾选 GGUF 格式筛选,或直接找带
-GGUF后缀的仓库;社区里 bartowski、unsloth、mradermacher 等发布者的量化包质量稳定、文件命名规范。 - 进仓库看 Files 列表:每个量化档位的文件大小都标好了,和本篇速查表对照,选”权重+KV+开销 ≤ 显存 85%“的那一档。
- 同一仓库里优先选带
imatix(imatrix 校准)标记的低比特版本,同体积下质量更好。 - 注意仓库是否包含多模态投影文件(mmproj):VL 模型少了它就看不了图,Ollama 导入时也要一起带上。
一个现成的估算示例,可以直接套自己的机器:
我的显卡:16GB目标模型:14B Instruct,Q4_K_M → 权重约 9GB计划上下文:16K → KV Cache 约 2GB(FP16)运行时开销:约 1GB合计:约 12GB ≤ 16 × 0.85 = 13.6GB ✅ 能全量进显存若换 Q8_0:权重约 15.7GB,仅权重就超预算 ❌ 放弃常见问题与排障
Q:模型能跑,但慢得像打字机。
先 ollama ps 看 PROCESSOR 列。出现 CPU 参与就是显存不够发生了卸载,对策按顺序:换低一档量化 → 缩小 num_ctx → 开 KV Cache 量化 → 还不行就换小一号尺寸。另外别把 MoE 和稠密搞混:拿激活参数估速度、拿总参数估显存,两个数别用反。
Q:回答到一半质量骤降、开始胡言乱语或重复。 大概率是上下文超限被截断,或者量化档位太低(Q3 以下)在长输出时崩坏。先把上下文长度调小验证,再考虑升一档量化。推理型模型还要检查是不是思维链太长把上下文吃满了。
Q:问它问题,它不回答,只会顺着我的话往下编。 你下到 Base 基座模型了。换成同系列带 Instruct / Chat 后缀的版本,这是选型第一课,十有八九的新手”模型很傻”都是这个问题。
Q:中文回答里总夹英文,或者英文提示词才听话。 模型系列的语料倾向问题。中文场景优先 Qwen、GLM、DeepSeek 这类中文一线系列;同系列内选 Instruct 版而不是只针对英文优化的衍生版。
Q:文件明明只有 9GB,为什么 12GB 显卡还是爆显存?
你只算了权重。加上 KV Cache(上下文越长越大)和运行时开销就超了。按第三节的公式重算,或者直接开 OLLAMA_KV_CACHE_TYPE=q8_0 把 KV 那笔账砍半。
Q:同一个模型,Ollama 上的和 Hugging Face 上的大小对不上。
正常。Ollama 库里的版本有它自己的量化选择和模板封装,和社区 GGUF 包不一定是同一档量化。对照 ollama show 里写的 Quantization 字段判断,别只看名字猜。
小结
选本地开源模型,把这条链路走顺就不会错:
- 看懂名字:系列定倾向,B 数定体积,Instruct 才是对话版,MoE 分开算速度与显存。
- 量化选甜点:Q4_K_M 是默认答案,质量敏感升 Q5/Q6,Q3 以下不碰主力。
- 显存算全账:权重 + KV Cache + 开销 ≤ 显存的 85%,标准是全量进显存而不是能启动。
- 用途对号入座:中文找 Qwen,代码找 Coder,推理找 R1 系,看图找 VL。
- 上下文打折看:标称长度按四分之一到二分之一当实际可用,长文档靠工程手段解决。
模型选定之后,回到 Ollama 部署篇 把它跑起来,就是你自己的本地 AI 班底了。