4291 字
21 分钟
AI 工具应用:开源模型怎么选
2026-11-15

先说结论:选模型是一道算术题#

上一篇我们用 Ollama 把本地大模型跑了起来,ollama run 一行命令很爽,但爽完之后问题立刻就来:模型库里几百个名字长得差不多的模型,到底下哪个?

  • 同一个模型有十几个版本:7B、8B、14B、32B,Q4、Q5、Q8、FP16,Instruct、Coder、VL……下错一个,要么显存爆了跑不起来,要么跑起来了质量一言难尽。
  • 网上的推荐帖大多只说”某某模型很强”,很少有人告诉你它在你这张显卡上到底能不能跑、能跑多快、要留多少余量。

这篇就把选型拆成四步可计算的动作:看懂名字 → 搞懂量化 → 算显存账 → 按用途对号入座。走完这四步,你在 Ollama 和 Hugging Face 上筛模型时,心里应该有一把尺子。

先把最重要的结论放前面:本地部署选模型的顺序是先算显存、再看量化、最后才比”谁更强”——跑不起来的模型,再强也和你无关。

第一步:看懂模型名#

开源模型的名字不是随便起的,基本是一串结构化信息。以几个真实风格的名字为例:

Qwen3-32B-Instruct-2507
Llama-3.1-8B-Instruct
DeepSeek-R1-Distill-Qwen-32B
Qwen3-30B-A3B
Mistral-Small-3.1-24B-Instruct-2503

逐段拆解:

组成部分例子含义
系列名Qwen、Llama、DeepSeek、Mistral、Gemma、Phi出品方与模型家族,决定”血统”和中文/代码等基础倾向
版本号3、3.1、2.5同一系列的迭代代次,一般越新越好
参数规模8B、32BB 是 Billion(十亿),参数总量,直接决定体积和显存
角色后缀Instruct、Chat经过指令微调,能正常对话;没有这个后缀的是 Base 基座模型
能力后缀Coder、VL、Math专项强化:Coder 写代码,VL 带视觉(看图),Math 偏数学
特殊标记Distill、A3BDistill 是蒸馏版;A3B 是 MoE 的激活参数量(见下)
日期后缀2507、25032025 年 7 月、2025 年 3 月发布的版本快照

这里有三个最容易踩的点:

第一,Base 和 Instruct 是两个物种。 Base 模型只会”续写文本”,你问它问题,它可能接着你的问题再编几个问题出来。日常对话、编程助手要的一律是带 Instruct 或 Chat 后缀的版本。下错 Base 模型是新手”模型怎么傻乎乎的”第一大原因,不是模型不行,是你拿错了。

第二,参数规模决定下限。 同一系列里,参数越大通常越聪明,但边际收益递减且成本陡增。粗略的体感分档:3B 以下适合简单分类、摘要类任务;7B~9B 是本地日常对话的起步线;14B~32B 质量明显上一个台阶,是当前本地部署的主力区间;70B 级别接近第一梯队闭源模型的体验,但硬件门槛陡峭。

第三,MoE 和稠密(Dense)要分清。 稠密模型推理时全部参数参与计算;MoE(混合专家)模型只激活一部分专家。名字里带 A数字B 的就是 MoE:

  • Qwen3-30B-A3B:总参数 30B,每次推理只激活约 3B。
  • Mixtral-8x7B:总参数约 46.7B,激活约 12.9B。
  • DeepSeek-V3:总参数 671B,激活约 37B。

MoE 的账要分开算:生成速度看激活参数量,占多少显存看总参数量。30B-A3B 跑起来有 3B 级别的速度,但 30B 的权重一个字节都不少地要装进显存或内存。很多人冲着”3B 的速度”去下 30B-A3B,然后在 16GB 显卡上当场爆显存,就是栽在这个误会里。

第二步:量化是怎么回事#

模型权重原本是 FP16(半精度浮点)存储的,每个参数占 2 字节。32B 模型光权重就是约 64GB——没几张消费级显卡装得下。量化就是把每个参数用更少的比特表示,把体积压下来,代价是损失一点点精度。

本地部署最常见的量化格式来自 GGUF 生态(Ollama、llama.cpp 都用它),命名里的 K 指 K-quants 分块量化,M 指该档位的中等规模变体。速查表如下(体积以每个参数的平均字节数估算,含少量元数据开销):

量化格式每参数约占相对 FP16 体积质量损失定位
FP16 / BF162.0 字节100%无(基准)显存管够时的原汁原味
Q8_0约 1.03 字节约 52%几乎无感显存富裕时的首选
Q6_K约 0.8 字节约 41%极小高质量与体积的平衡点
Q5_K_M约 0.68 字节约 35%小质量敏感任务可用
Q4_K_M约 0.58 字节约 30%可感知但可接受本地部署甜点位
Q4_0约 0.55 字节约 28%略大于 Q4_K_M老格式,速度略快
Q3_K_M约 0.42 字节约 21%明显只为塞进小显存时考虑
Q2_K约 0.33 字节约 17%大极限场景,不推荐日常用
IQ 系列与同档 Q 相当相当同体积下略优于普通 Q配合 imatrix 校准的低比特方案

几个使用口径:

  • Q4_K_M 是社区公认的甜点位。 体积只有 FP16 的三成左右,主流任务的质量损失大多数人感知不到,速度还因为数据量小而更快。本篇后面的显存速查表都以它为基准列。
  • 量化损失不是均匀的。 写代码、做数学、长链推理这类对精度敏感的任务,低比特量化的掉点比闲聊明显得多;如果模型是拿来写代码的,预算允许时优先 Q5_K_M 或 Q6_K。
  • Q3 以下(含 Q2)不要拿来当主力。省下的那点显存,换来的是逻辑开始飘、格式开始乱、重复率上升,省下的显存还不够你多开一会儿上下文的,买卖不划算。
  • 同一量化档位下,文件实际大小会因模型结构(词表大小、是否带视觉编码器等)浮动 5%~10%,下载前以仓库文件列表里标注的实际大小为准。

第三步:算显存账——权重只是第一笔#

新手算显存最常见的错误,是只算权重文件大小。一张显卡要装下的东西有三笔:

总需求 ≈ 权重大小 + KV Cache + 运行时开销

第一笔:权重。 公式很简单:

权重大小(GB) ≈ 参数量(B) × 每参数字节数

比如 14B 模型用 Q4_K_M:14 × 0.58 ≈ 8.1GB(实际文件约 9GB,多出的是词表与元数据,正常)。

第二笔:KV Cache。 这是注意力机制用来缓存历史 Token 的键值对,随上下文长度线性增长,而且经常是新手爆显存的真正元凶。它的大小由模型结构决定:

每 Token 的 KV(字节) = 层数 × KV 头数 × 每头维度 × 2(K 和 V) × 每元素字节数

以 Llama 3.1 8B 为例:32 层、8 个 KV 头(GQA 分组注意力已经帮我们省了很多)、每头维度 128、FP16 存储:

每 Token KV = 32 × 8 × 128 × 2 × 2 = 131072 字节 ≈ 0.125MB
开满 32K 上下文 = 0.125MB × 32768 ≈ 4GB

也就是说,这个 8B 模型光 KV Cache 就能吃掉 4GB。好在现在主流推理框架都支持 KV Cache 量化(Ollama 可通过 OLLAMA_KV_CACHE_TYPE=q8_0 开启),Q8 量化后这笔账直接减半,质量影响很小。

第三笔:运行时开销。 计算图、激活值、框架自身占用,一般按 0.5~1.5GB 预留;多模态模型还要再算上视觉编码器。

把所有账汇总成速查表(权重为 GGUF 实际文件的常见大小,KV 按 FP16、32K 上下文估算,运行时开销按约 1GB 计):

参数规模FP16 权重Q8_0 权重Q4_K_M 权重KV Cache(32K)Q4_K_M 总需求约能舒适装下的配置
7B / 8B约 16GB约 8.5GB约 4.9GB约 2~4GB约 9GB12GB 显卡
14B约 29GB约 15.7GB约 9GB约 3~5GB约 14GB16GB 显卡
32B约 65GB约 34.8GB约 19.8GB约 4~8GB约 26GB32GB 显卡或双卡
70B约 141GB约 75GB约 40.5GB约 5~10GB约 48GB64GB 内存混跑或多卡

表里有几个口径要说清:

  • KV Cache 一列随模型结构浮动很大:层数多、KV 头多的模型更吃 KV;开的上下文不是 32K 而是 8K 时,这笔账按比例除以 4。
  • “总需求”超过显存不等于完全跑不了——Ollama 会把放不下的层卸载(Offload)到内存用 CPU 算,但速度会断崖式下跌。选型的标准应该是”全量装进显存”,而不是”能启动”,能启动但每秒吐三个字,那不叫能用。
  • 没有独立显卡、纯靠内存跑(比如大内存的 Mac 或核显机器)同理,把表里的”显存”换成”可用内存”即可,只是速度预期要放低。
WARNING

算账时最容易漏的就是 KV Cache:很多人照着权重大小买了张”刚好”的显卡,结果上下文一拉长就 OOM(显存溢出)。留白原则:总需求控制在显存的 85% 以内,剩下的留给上下文波动和系统占用。

第四步:按用途对号入座#

算力账算清之后,才轮到”哪个系列强”。下面按用途给定位,不纠结某个具体小版本(版本迭代太快),记系列名和定位就够用很久:

用途首选系列定位与特点
中文对话、中文写作Qwen(通义千问)国产系列里中文语料与中文指令跟随最扎实,尺寸梯度最全,从 0.6B 到 200B+ 都有
中文对话备选GLM(智谱)、DeepSeekGLM 中文与工具调用不错;DeepSeek 的对话版中文也在一线
写代码Qwen Coder、DeepSeekCoder 专项系列在补全、改 Bug、读仓库上明显强于同尺寸通用模型
数学与深度推理DeepSeek R1 及其蒸馏版会输出长思维链,慢但能啃硬题;蒸馏版把能力压进小尺寸,本地可跑
长文档处理Llama、Qwen、Mistral三家都有长上下文版本;选型时重点看下一节说的”实际可用长度”
看图多模态Qwen VL、MiniCPM-V、InternVL名字带 VL/Vision 的才是多模态版;MiniCPM-V 在小尺寸下性价比突出
英文与通用Llama(Meta)、Mistral、Gemma(Google)生态最大、微调与量化资源最丰富;纯英文场景体验好
极小尺寸/端侧Phi(微软)、Gemma 小尺寸版、Qwen 小尺寸版3B 上下干分类、摘要、格式化这类轻活,速度飞快

落到具体搭配上,给三套可以直接抄的组合:

  • 16GB 显卡的均衡组合:主力 Qwen 14B 级 Instruct(Q4_K_M,约 9GB),再备一个同系列 Coder 版处理代码,显存还够两个模型热切换。
  • 24GB 显卡的进阶组合:32B 级 Instruct(Q4_K_M,约 19.8GB)当主力,上下文开 16K~32K 都稳;这是目前本地体验的”甜点机”配置。
  • 纯 CPU/大内存机器:优先考虑 MoE,比如 30B-A3B 这类总参不大、激活小的模型,Q4_K_M 装内存里跑,速度比同体积稠密模型友好得多。

选好主力模型只是开始:把它接进编程工具里当私有助手,看 Continue + 本地模型搭私有编程助手;想让多个应用共用同一个模型入口,看 LiteLLM 网关篇。

第五步:上下文长度的真相#

模型介绍页上动辄写着 128K、256K、1M 上下文。先说清这个数字的含义:它只是”位置编码能编到的最大长度”,约等于能塞进去,不等于塞满了还能用好。实际使用中有三笔折损:

  1. 注意力衰减与”迷失中间”。 学术界著名的 Lost in the Middle 现象:长上下文里,模型对开头和结尾的内容记得牢,对中段内容的利用率明显下降。塞满 128K 时,中间那几万 Token 的关键信息可能被”读过但没读进去”。
  2. KV Cache 跟着爆。 上一节算过,32K 上下文就是几个 GB;真开到 128K,KV Cache 能再吃掉十几 GB,显存不够直接 OOM,或者被迫卸载到 CPU 慢如蜗牛。
  3. 速度变慢。 每次生成都要回看全部历史,上下文越长,每 Token 的计算量越大,长会话后半段肉眼可见地变卡。

经验口径:日常实际可用长度按标称的四分之一到二分之一估算比较稳妥。标称 128K 的模型,当 32K~64K 来用,体验和稳定性都在线;真有超长文档需求,优先考虑分块摘要、RAG 检索这类工程手段,而不是无脑堆上下文。另外推理型模型(R1 那类)自己输出的思维链也占上下文,留预算时要把这部分算进去。

第六步:实操——在 Ollama 和 Hugging Face 上筛模型#

把前面的尺子落成具体动作。

在 Ollama 里筛:

Terminal window
# 看模型详情:参数量、量化、上下文都在里面
ollama show qwen3:14b
# 看当前实际占用:谁在显存里、占了多少
ollama ps
# 拉取指定量化版本:tag 里直接带量化名
ollama pull qwen3:14b-instruct-q4_K_M
ollama pull qwen3:32b-instruct-q8_0

要点:Ollama 的默认 tag 往往已经是某个量化版本(常见是 Q4_K_M),ollama show 里会写明,别默认下到的就是原版 FP16。跑起来后用 ollama ps 确认 PROCESSOR 一列是 100% GPU——如果显示 CPU/GPU 混合,就是显存不够在卸载,回去换小一号的量化或尺寸。

在 Hugging Face 里筛(找 GGUF 文件时):

  1. 搜索时勾选 GGUF 格式筛选,或直接找带 -GGUF 后缀的仓库;社区里 bartowski、unsloth、mradermacher 等发布者的量化包质量稳定、文件命名规范。
  2. 进仓库看 Files 列表:每个量化档位的文件大小都标好了,和本篇速查表对照,选”权重+KV+开销 ≤ 显存 85%“的那一档。
  3. 同一仓库里优先选带 imatix(imatrix 校准)标记的低比特版本,同体积下质量更好。
  4. 注意仓库是否包含多模态投影文件(mmproj):VL 模型少了它就看不了图,Ollama 导入时也要一起带上。

一个现成的估算示例,可以直接套自己的机器:

我的显卡:16GB
目标模型:14B Instruct,Q4_K_M → 权重约 9GB
计划上下文:16K → KV Cache 约 2GB(FP16)
运行时开销:约 1GB
合计:约 12GB ≤ 16 × 0.85 = 13.6GB ✅ 能全量进显存
若换 Q8_0:权重约 15.7GB,仅权重就超预算 ❌ 放弃

常见问题与排障#

Q:模型能跑,但慢得像打字机。 先 ollama ps 看 PROCESSOR 列。出现 CPU 参与就是显存不够发生了卸载,对策按顺序:换低一档量化 → 缩小 num_ctx → 开 KV Cache 量化 → 还不行就换小一号尺寸。另外别把 MoE 和稠密搞混:拿激活参数估速度、拿总参数估显存,两个数别用反。

Q:回答到一半质量骤降、开始胡言乱语或重复。 大概率是上下文超限被截断,或者量化档位太低(Q3 以下)在长输出时崩坏。先把上下文长度调小验证,再考虑升一档量化。推理型模型还要检查是不是思维链太长把上下文吃满了。

Q:问它问题,它不回答,只会顺着我的话往下编。 你下到 Base 基座模型了。换成同系列带 Instruct / Chat 后缀的版本,这是选型第一课,十有八九的新手”模型很傻”都是这个问题。

Q:中文回答里总夹英文,或者英文提示词才听话。 模型系列的语料倾向问题。中文场景优先 Qwen、GLM、DeepSeek 这类中文一线系列;同系列内选 Instruct 版而不是只针对英文优化的衍生版。

Q:文件明明只有 9GB,为什么 12GB 显卡还是爆显存? 你只算了权重。加上 KV Cache(上下文越长越大)和运行时开销就超了。按第三节的公式重算,或者直接开 OLLAMA_KV_CACHE_TYPE=q8_0 把 KV 那笔账砍半。

Q:同一个模型,Ollama 上的和 Hugging Face 上的大小对不上。 正常。Ollama 库里的版本有它自己的量化选择和模板封装,和社区 GGUF 包不一定是同一档量化。对照 ollama show 里写的 Quantization 字段判断,别只看名字猜。

小结#

选本地开源模型,把这条链路走顺就不会错:

  1. 看懂名字:系列定倾向,B 数定体积,Instruct 才是对话版,MoE 分开算速度与显存。
  2. 量化选甜点:Q4_K_M 是默认答案,质量敏感升 Q5/Q6,Q3 以下不碰主力。
  3. 显存算全账:权重 + KV Cache + 开销 ≤ 显存的 85%,标准是全量进显存而不是能启动。
  4. 用途对号入座:中文找 Qwen,代码找 Coder,推理找 R1 系,看图找 VL。
  5. 上下文打折看:标称长度按四分之一到二分之一当实际可用,长文档靠工程手段解决。

模型选定之后,回到 Ollama 部署篇 把它跑起来,就是你自己的本地 AI 班底了。

AI 工具应用:开源模型怎么选
https://www.anexns.cloudns.org/posts/ai-open-models-guide/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0