4636 字
23 分钟
AI 工具应用:Continue + 本地模型搭私有编程助手
2026-11-15

先说问题:编程助手好用,但代码发给谁了#

AI 编程助手已经是日常写代码的标配:行内补全、选中代码问答、让模型直接改文件,效率提升是实打实的。但主流方案有个绕不开的前提——你的代码要发到别人的服务器上。补全时,当前文件和周边上下文会被打包上传;用 @Codebase 问问题时,整个仓库的索引也要过一遍云端。

对个人开源项目这可能无所谓,但下面几种情况就得掂量了:

  • 公司内部代码、未发布的产品代码,合规上根本不允许出内网。
  • 仓库里混着配置文件、脚本、内部接口文档,上传等于把家底摊开。
  • 订阅按月付费,团队人一多就是一笔长期支出,还随时可能涨价或调整额度。

好在现在开源模型和本地推理工具都成熟了:用 Ollama 在自己机器(或内网一台带显卡的机器)上跑模型,再用 Continue 这个开源插件接进 VS Code,就能得到一套代码不出内网、零订阅费的私有编程助手。模型选型和 Ollama 部署的通用部分,本系列的 Ollama 本地大模型部署 和 开源模型怎么选 已经讲过;和云端助手的整体对比,可以先看 AI 编程助手实战。本篇专注一件事:把 Continue + Ollama 这套组合从零配到能干活,并且把每个配置项讲清楚。

本篇主线:架构与角色分工 → Ollama 侧准备三类模型 → Continue 安装 → config.yaml 逐段详解 → 四个场景实测 → 补全与上下文调优 → 局限与取舍。

项目地址:https://github.com/continuedev/continue

架构:三件套各自干什么#

这套方案由三个部件组成,先把角色对齐,后面配置才不会乱:

部件角色说明
VS Code工作台写代码的地方,本身不做推理
Continue 插件调度员决定每个动作(补全、对话、编辑、索引)调用哪个模型,管理上下文
Ollama推理引擎在本机或内网服务器上真正运行模型,对外提供 API

关键认知在 Continue 这一层:它不是「接一个模型」,而是「给每种活分配一个模型」。补全要的是快,对话要的是聪明,代码库索引要的是嵌入模型——这三类活对模型的要求完全不同,硬用一个模型全包,结果就是补全慢、索引还建不起来。

Continue 的核心设计就是模型角色分工:chat、autocomplete、embed 各司其职,私有编程助手能不能用,七成取决于这三个角色配得对不对。

前置:Ollama 侧准备三类模型#

Ollama 的安装和基础用法见 Ollama 本地大模型部署,这里只讲为编程助手做的针对性准备。

三类模型分工#

角色干什么活模型要求推荐模型
chat / edit / apply对话问答、按指令改代码、应用编辑结果指令跟随好、代码能力强,可以慢Qwen2.5-Coder 14B / 32B
autocomplete行内补全,你打字它接话必须快(几百毫秒级)、支持 FIMQwen2.5-Coder 7B、StarCoder2 7B
embed把代码切块算向量,建代码库索引嵌入模型,和聊天模型完全两回事nomic-embed-text
rerank(可选)对检索回来的代码片段重排序小个通用模型即可Llama 3.1 8B

一条命令全部拉下来:

Terminal window
ollama pull qwen2.5-coder:14b
ollama pull qwen2.5-coder:7b
ollama pull nomic-embed-text
ollama pull llama3.1:8b

显存怎么分:14B 对话模型量化后约占 9 GB,7B 补全模型约 5 GB,嵌入和重排模型各 1 GB 上下。一张 24 GB 的卡可以全常驻;16 GB 的卡建议把对话模型降到 14B 以下或者让补全和对话共用调度(用时加载、闲时卸载,代价是首次响应慢几秒)。纯 CPU 也能跑,但补全延迟会到秒级,体验基本不可用——这套方案的下限是一张 12 GB 以上显存的显卡,或者 Apple Silicon 统一内存 32 GB 起步。

Ollama 服务端设置#

如果 Ollama 和 VS Code 在同一台机器上,默认配置就能用(监听 127.0.0.1:11434)。常见的是把 Ollama 放在内网一台带显卡的机器上,笔记本只装 VS Code,这时要改两个地方。

Linux 上用 systemd 环境变量覆盖:

Terminal window
sudo systemctl edit ollama

填入:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_NUM_PARALLEL=2"
Terminal window
sudo systemctl restart ollama
  • OLLAMA_HOST:改成 0.0.0.0 才允许别的机器连。
  • OLLAMA_KEEP_ALIVE:模型闲置多久后从显存卸载。默认 5 分钟太短,写代码时频繁冷启动很烦,设 30 分钟。
  • OLLAMA_NUM_PARALLEL:允许的并发请求数。Continue 会同时发补全和对话请求,设 2 更顺。
WARNING

把 OLLAMA_HOST 开到 0.0.0.0 等于把推理接口暴露在局域网里,Ollama 本身没有鉴权。不要把 11434 端口映射到公网,只在可信内网使用;跨网络访问请走内网穿透或 VPN,不要裸奔端口转发。

Continue 安装#

在 VS Code 扩展市场搜 Continue 安装即可(JetBrains 全家桶也有对应插件,配置完全共用)。装好后左侧栏会出现 Continue 图标。点开面板,点右上角的齿轮(或配置选择器里的「Add Config」/ 打开配置),会定位到配置文件:

~/.continue/config.yaml

Continue 现在的主力配置格式就是这个 YAML 文件(老版本的 config.json 已淘汰)。整个助手的全部行为都由它决定,下面逐段拆。

config.yaml 逐段详解#

先给一份可以直接抄的完整配置,再逐段解释:

name: Private Coding Assistant
version: 1.0.0
schema: v1
models:
# —— 对话 / 编辑主力 ——
- name: Qwen2.5-Coder 14B
provider: ollama
model: qwen2.5-coder:14b
apiBase: http://127.0.0.1:11434
roles:
- chat
- edit
- apply
requestOptions:
timeout: 60000
# —— 行内补全:小、快、支持 FIM ——
- name: Qwen2.5-Coder 7B Autocomplete
provider: ollama
model: qwen2.5-coder:7b
apiBase: http://127.0.0.1:11434
roles:
- autocomplete
autocompleteOptions:
debounceDelay: 500
maxPromptTokens: 1024
# —— 代码库索引嵌入 ——
- name: Nomic Embed Text
provider: ollama
model: nomic-embed-text:latest
apiBase: http://127.0.0.1:11434
roles:
- embed
embedOptions:
maxChunkSize: 512
maxBatchSize: 32
# —— 检索结果重排(可选) ——
- name: Llama 3.1 8B Rerank
provider: ollama
model: llama3.1:8b
apiBase: http://127.0.0.1:11434
roles:
- rerank
context:
- provider: code
- provider: codebase
- provider: docs
- provider: diff
- provider: file
- provider: folder
- provider: terminal
- provider: problems
- provider: search

顶层三件套:name / version / schema#

name 是这份配置在 Continue 界面里的显示名,随便起。schema: v1 声明配置格式版本,照抄即可。version 是你自己给配置编的版本号,方便将来回滚,无实际约束。

models:角色分配是核心#

每个模型条目四要素:

  • name:显示名,界面里切换模型时看到的就是它。
  • provider: ollama:走 Ollama 通道。换成本地其他推理服务(如 LM Studio)时才改这里。
  • model:Ollama 里的模型标签,必须和 ollama list 里看到的一字不差。
  • apiBase:Ollama 地址。本机跑就写 http://127.0.0.1:11434;放在内网服务器上就改成那台机器的 IP。这是唯一需要按你的网络环境改的字段。

roles 是整份配置的灵魂,六个角色分工如下:

角色触发时机配错的后果
chat侧边栏对话、问答用小模型答,质量明显不行
edit选中代码按 Ctrl+I 给指令改写同上
apply把模型给出的代码块真正写进文件用慢模型点一次等半天;一般和 chat 用同一个
autocomplete打字时的灰色行内补全误配成大模型是最常见的翻车点,延迟直接爆炸
embed给代码库建向量索引不配则 @Codebase 完全不可用
rerank对索引检索结果重排序不配也能用,只是 @Codebase 答得糙一点

注意 apply 角色:Continue 在对话里生成代码后,点「Apply」把改动落到文件这一步是单独走一个模型的,因为它要做的是把完整文件内容和代码块做合并,要求快且稳,通常直接和 chat 共用同一个模型即可,不必单列。

两个可选参数值得单独说:

  • requestOptions.timeout:毫秒。对话用大模型生成长回答时,默认超时容易误杀,14B 级别设 60000 比较稳。
  • autocompleteOptions:补全专属。debounceDelay 是你停手多少毫秒后才发请求,太小会狂发请求、太大跟不上手速,400–600 是甜点区。maxPromptTokens 限制补全时带多少上下文,1024 兼顾速度和相关性。
  • embedOptions.maxChunkSize:索引切块大小。代码文件按 512 切比较均衡;文档型仓库可以放大到 1024。

context:上下文提供者#

context 段决定你在对话里打 @ 时能引用哪些东西:

  • code:引用当前文件里某个函数/类(按符号选)。
  • codebase:全仓库语义检索,就是靠 embed 模型建的索引在干活。
  • docs:引用官方文档站(Continue 内置了一批常用文档源)。
  • diff:把当前 Git 改动喂给模型,写提交说明、做自查 review 都靠它。
  • file / folder:指定文件或整个文件夹作为上下文。
  • terminal:把终端最近输出带进来,报错排查时极其好用。
  • problems:编辑器里标红的报错列表。
  • search:在代码库里做文本搜索。

这段不用背,用到哪个 @ 不出来,再回来查这张单子往里加即可。

实测四场景#

配置写好后,在 Continue 面板顶部的配置选择器里切到这份「Private Coding Assistant」,逐个场景验收。

场景一:行内补全#

新建一个 Python 文件,写下函数签名和注释:

def retry(func, times=3, delay=1.0):
"""调用 func,失败后重试,间隔逐次翻倍"""

回车后稍等,应该能看到灰色的补全建议(循环、异常捕获、sleep 翻倍那一整段),按 Tab 接受。验收标准:从停手到出现建议应在 1 秒上下。明显更慢,先去排障小节看补全延迟部分。

场景二:选中代码问答#

选中一段自己看不太懂的正则或算法,按 Ctrl+L 把它送进对话,问「这段在干什么,边界情况有哪些」。模型应该结合这段代码本身回答,而不是泛泛而谈。这验证的是 chat 角色和上下文传递都通了。

场景三:整文件编辑#

打开一个函数,Ctrl+I 输入「给这个函数加上参数校验,非法参数抛 ValueError」。Continue 会以 diff 形式给出改动,逐块接受或拒绝。这一步同时验证 edit 和 apply 两个角色——能生成 diff 说明 edit 通了,能干净地落进文件说明 apply 通了。

场景四:代码库问答 @Codebase#

第一次使用先让它建索引:打开 Continue 设置里的索引状态,确认进度走完(大仓库要几分钟)。然后在对话里输入:

@Codebase 这个项目的配置是从哪里加载的?给出文件路径

回答里应该引用到具体文件和代码片段,而不是编造。答得离谱,先查 embed 模型有没有配对、索引有没有建完,再考虑 rerank。

四个场景全过,这套私有助手就算搭成了:补全管手速、对话管理解、编辑管落地、Codebase 管全局。

调优:补全延迟与上下文长度#

补全为什么必须用 FIM 模型#

行内补全的本质是「已知光标前后的代码,填中间的空」。支持 FIM(Fill-in-the-Middle)的模型在训练时专门学过这种「给前缀+后缀、补中间」的格式,补出来的代码能和后文严丝合缝;普通对话模型只能顺着前缀往下编,经常把后面已有的代码再重复一遍。

选补全模型时认准这一点:Qwen2.5-Coder、StarCoder2、DeepSeek-Coder 这几个系列都支持 FIM。不要拿通用对话模型(比如纯 Llama 聊天版)顶补全的班,那是补全质量差的头号原因,排障时先查这里。

延迟从哪来,怎么压#

补全的体感延迟由三段组成:防抖等待(debounceDelay,你设的)、网络往返(内网可忽略)、模型生成(大头)。压延迟的顺序:

  1. 补全模型换小:7B 是甜点,显存富裕也别超过 14B,补全要的是 token 吐得快。
  2. maxPromptTokens 别贪大:从 2048 降到 1024,相关性损失很小,速度提升明显。
  3. 让补全模型常驻显存:OLLAMA_KEEP_ALIVE 设长一点,避免每次补全先花几秒加载模型。
  4. 对话和补全抢显存时,优先保补全:把对话模型降一档(32B → 14B)比让补全排队划算得多。

上下文长度:别被默认值坑了#

Ollama 默认给模型的上下文窗口只有 2048 token,对聊天勉强够,对编程场景远远不够:一个中等长度的文件就爆了,模型会「忘掉」文件开头,@Codebase 的回答也跟着残缺。两个办法:

办法一,给 Ollama 设全局上下文长度(较新版本的 Ollama 支持):

Environment="OLLAMA_CONTEXT_LENGTH=16384"

办法二,用 Modelfile 派生一个大上下文版本,适合只想给对话模型扩窗的场景:

FROM qwen2.5-coder:14b
PARAMETER num_ctx 32768
Terminal window
ollama create qwen-coder-32k -f Modelfile

然后把 config.yaml 里对话模型的 model 改成 qwen-coder-32k。

WARNING

上下文不是越大越好:窗口翻倍,显存里的 KV 缓存也跟着涨,生成速度还会变慢。无脑拉满到 128K 是最常见的过度调优,对话模型 16K–32K、补全 4K–8K 对绝大多数仓库已经够用。

局限与取舍:什么活别交给它#

把预期摆正,这套方案才用得久。和云端旗舰编程助手比,本地小模型的差距主要在三处:

  • 复杂重构:跨多文件的大改、需要长链推理的架构调整,14B 级别模型容易改着改着丢约束,产出需要逐行审。云端旗舰在这类活上确实更强。
  • 冷门技术栈:训练语料少的框架、公司内部自研库,本地模型基本靠猜;@Codebase 能补一部分上下文,但补不了它没见过的 API。
  • 长上下文项目理解:几十万行的大仓,索引检索只能捞回片段,拼不出全局图景,别指望它做架构级问答。

适合放心交给它的活:样板代码、单测生成、正则与脚本、代码解释、报错定位、格式转换、补类型标注、写注释和文档字符串——也就是日常写代码里最耗时但最不需要「聪明」的那 70%。

取舍原则一句话:隐私敏感、重复枯燥的活留在本地;真正烧脑、且代码允许外发的活,临时切回云端模型。Continue 支持在同一份配置里混排本地和云端模型,按场景手动切换,这正是它的好处——不用二选一站队。

常见问题与排障#

补全迟迟不出现,或慢到 3 秒以上#

按这个顺序查:

  1. 补全角色是不是误配了大模型或对话模型(roles 里 autocomplete 挂的必须是小个 FIM 模型)。
  2. 在跑 Ollama 的机器上执行 ollama ps,确认补全模型在显存里常驻,而不是每次请求现加载。
  3. nvidia-smi 看显存:如果对话模型把显存占满,补全模型被挤到内存里跑,延迟直接翻十倍。降对话模型一档,或给 Ollama 限制对话模型的常驻。
  4. 跨机器部署时测一下内网延迟,Wi-Fi 抖动也会让补全忽快忽慢,有条件走有线。

Continue 面板报错,连不上 Ollama#

先在 VS Code 所在机器上自测接口:

Terminal window
curl http://127.0.0.1:11434/api/tags
  • 本机都通不了:Ollama 没在跑,或端口不对,先修服务端。
  • 本机通、Continue 里不通:多半是 apiBase 写错(IP、端口、漏了 http://)。
  • Ollama 在另一台机器上:确认服务端设了 OLLAMA_HOST=0.0.0.0:11434 并重启过服务,且防火墙放行了 11434。注意 apiBase 还写着 127.0.0.1 是跨机器部署时最常见的低级错误——127.0.0.1 永远指你自己这台机器。

@Codebase 回答不引用任何文件,像在编#

  1. 查索引状态:Continue 里看代码库索引是否建完,中途失败会静默降级成「无索引问答」。
  2. 查 embed 角色:config.yaml 里有没有模型挂了 embed 角色,模型名和 ollama list 对不对得上。嵌入模型没配对时不报错、只是不用,这是最阴的一种故障。
  3. 仓库刚大改过结构:手动触发一次重新索引,旧索引里的路径全是过期的。

补全建议驴唇不对马嘴,重复已有代码#

典型的「补全模型不支持 FIM」症状:它在顺着前缀续写,而不是填空。把 autocomplete 换成 Qwen2.5-Coder、StarCoder2 这类明确支持 FIM 的模型;同时检查 maxPromptTokens 是否被设得过小(比如 256),上下文喂太少,模型只能瞎猜。

改完 config.yaml 不生效#

config.yaml 是热加载的,保存后一般几秒内生效。如果改了没反应:确认改的是当前选中的那份配置(Continue 支持多份配置并存,界面顶部能切换);再确认 YAML 缩进没错位——YAML 对缩进极其敏感,一个空格错位就会整段失效且不报错,拿不准时把文件贴进任意 YAML 校验工具先验一遍。

中文注释和中文提问回答质量差#

对话模型换中文友好的系列:Qwen 系列对中文的理解明显好于同尺寸的 Llama 系。如果主力是英文代码+中文交流,Qwen2.5-Coder 兼顾得最好,这也是上面配置拿它当主力的原因。

小结#

  • 私有编程助手的价值就两条:代码不出内网,订阅费归零,代价是复杂任务上和云端旗舰有真实差距,心里要有数。
  • 搭这套东西的关键不在装,而在 Continue 的角色分工:对话用大模型、补全用小的 FIM 模型、索引用嵌入模型,三者别串位。
  • config.yaml 里真正要按自己环境改的只有 apiBase 和模型尺寸,其余照抄就能跑通四个基本场景。
  • 调优先压补全延迟,再扩对话上下文;窗口别贪大,够用即止。

跑通之后,如果想把本地模型再往前推一步——比如给整个团队共用一台推理服务器、或者把模型接到更多工具里——可以接着看本系列的进阶篇。

AI 工具应用:Continue + 本地模型搭私有编程助手
https://www.anexns.cloudns.org/posts/ai-continue-local-coding/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0