先说问题:编程助手好用,但代码发给谁了
AI 编程助手已经是日常写代码的标配:行内补全、选中代码问答、让模型直接改文件,效率提升是实打实的。但主流方案有个绕不开的前提——你的代码要发到别人的服务器上。补全时,当前文件和周边上下文会被打包上传;用 @Codebase 问问题时,整个仓库的索引也要过一遍云端。
对个人开源项目这可能无所谓,但下面几种情况就得掂量了:
- 公司内部代码、未发布的产品代码,合规上根本不允许出内网。
- 仓库里混着配置文件、脚本、内部接口文档,上传等于把家底摊开。
- 订阅按月付费,团队人一多就是一笔长期支出,还随时可能涨价或调整额度。
好在现在开源模型和本地推理工具都成熟了:用 Ollama 在自己机器(或内网一台带显卡的机器)上跑模型,再用 Continue 这个开源插件接进 VS Code,就能得到一套代码不出内网、零订阅费的私有编程助手。模型选型和 Ollama 部署的通用部分,本系列的 Ollama 本地大模型部署 和 开源模型怎么选 已经讲过;和云端助手的整体对比,可以先看 AI 编程助手实战。本篇专注一件事:把 Continue + Ollama 这套组合从零配到能干活,并且把每个配置项讲清楚。
本篇主线:架构与角色分工 → Ollama 侧准备三类模型 → Continue 安装 → config.yaml 逐段详解 → 四个场景实测 → 补全与上下文调优 → 局限与取舍。
架构:三件套各自干什么
这套方案由三个部件组成,先把角色对齐,后面配置才不会乱:
| 部件 | 角色 | 说明 |
|---|---|---|
| VS Code | 工作台 | 写代码的地方,本身不做推理 |
| Continue 插件 | 调度员 | 决定每个动作(补全、对话、编辑、索引)调用哪个模型,管理上下文 |
| Ollama | 推理引擎 | 在本机或内网服务器上真正运行模型,对外提供 API |
关键认知在 Continue 这一层:它不是「接一个模型」,而是「给每种活分配一个模型」。补全要的是快,对话要的是聪明,代码库索引要的是嵌入模型——这三类活对模型的要求完全不同,硬用一个模型全包,结果就是补全慢、索引还建不起来。
Continue 的核心设计就是模型角色分工:chat、autocomplete、embed 各司其职,私有编程助手能不能用,七成取决于这三个角色配得对不对。
前置:Ollama 侧准备三类模型
Ollama 的安装和基础用法见 Ollama 本地大模型部署,这里只讲为编程助手做的针对性准备。
三类模型分工
| 角色 | 干什么活 | 模型要求 | 推荐模型 |
|---|---|---|---|
| chat / edit / apply | 对话问答、按指令改代码、应用编辑结果 | 指令跟随好、代码能力强,可以慢 | Qwen2.5-Coder 14B / 32B |
| autocomplete | 行内补全,你打字它接话 | 必须快(几百毫秒级)、支持 FIM | Qwen2.5-Coder 7B、StarCoder2 7B |
| embed | 把代码切块算向量,建代码库索引 | 嵌入模型,和聊天模型完全两回事 | nomic-embed-text |
| rerank(可选) | 对检索回来的代码片段重排序 | 小个通用模型即可 | Llama 3.1 8B |
一条命令全部拉下来:
ollama pull qwen2.5-coder:14bollama pull qwen2.5-coder:7bollama pull nomic-embed-textollama pull llama3.1:8b显存怎么分:14B 对话模型量化后约占 9 GB,7B 补全模型约 5 GB,嵌入和重排模型各 1 GB 上下。一张 24 GB 的卡可以全常驻;16 GB 的卡建议把对话模型降到 14B 以下或者让补全和对话共用调度(用时加载、闲时卸载,代价是首次响应慢几秒)。纯 CPU 也能跑,但补全延迟会到秒级,体验基本不可用——这套方案的下限是一张 12 GB 以上显存的显卡,或者 Apple Silicon 统一内存 32 GB 起步。
Ollama 服务端设置
如果 Ollama 和 VS Code 在同一台机器上,默认配置就能用(监听 127.0.0.1:11434)。常见的是把 Ollama 放在内网一台带显卡的机器上,笔记本只装 VS Code,这时要改两个地方。
Linux 上用 systemd 环境变量覆盖:
sudo systemctl edit ollama填入:
[Service]Environment="OLLAMA_HOST=0.0.0.0:11434"Environment="OLLAMA_KEEP_ALIVE=30m"Environment="OLLAMA_NUM_PARALLEL=2"sudo systemctl restart ollamaOLLAMA_HOST:改成0.0.0.0才允许别的机器连。OLLAMA_KEEP_ALIVE:模型闲置多久后从显存卸载。默认 5 分钟太短,写代码时频繁冷启动很烦,设 30 分钟。OLLAMA_NUM_PARALLEL:允许的并发请求数。Continue 会同时发补全和对话请求,设 2 更顺。
WARNING把 OLLAMA_HOST 开到 0.0.0.0 等于把推理接口暴露在局域网里,Ollama 本身没有鉴权。不要把 11434 端口映射到公网,只在可信内网使用;跨网络访问请走内网穿透或 VPN,不要裸奔端口转发。
Continue 安装
在 VS Code 扩展市场搜 Continue 安装即可(JetBrains 全家桶也有对应插件,配置完全共用)。装好后左侧栏会出现 Continue 图标。点开面板,点右上角的齿轮(或配置选择器里的「Add Config」/ 打开配置),会定位到配置文件:
~/.continue/config.yamlContinue 现在的主力配置格式就是这个 YAML 文件(老版本的 config.json 已淘汰)。整个助手的全部行为都由它决定,下面逐段拆。
config.yaml 逐段详解
先给一份可以直接抄的完整配置,再逐段解释:
name: Private Coding Assistantversion: 1.0.0schema: v1
models: # —— 对话 / 编辑主力 —— - name: Qwen2.5-Coder 14B provider: ollama model: qwen2.5-coder:14b apiBase: http://127.0.0.1:11434 roles: - chat - edit - apply requestOptions: timeout: 60000
# —— 行内补全:小、快、支持 FIM —— - name: Qwen2.5-Coder 7B Autocomplete provider: ollama model: qwen2.5-coder:7b apiBase: http://127.0.0.1:11434 roles: - autocomplete autocompleteOptions: debounceDelay: 500 maxPromptTokens: 1024
# —— 代码库索引嵌入 —— - name: Nomic Embed Text provider: ollama model: nomic-embed-text:latest apiBase: http://127.0.0.1:11434 roles: - embed embedOptions: maxChunkSize: 512 maxBatchSize: 32
# —— 检索结果重排(可选) —— - name: Llama 3.1 8B Rerank provider: ollama model: llama3.1:8b apiBase: http://127.0.0.1:11434 roles: - rerank
context: - provider: code - provider: codebase - provider: docs - provider: diff - provider: file - provider: folder - provider: terminal - provider: problems - provider: search顶层三件套:name / version / schema
name 是这份配置在 Continue 界面里的显示名,随便起。schema: v1 声明配置格式版本,照抄即可。version 是你自己给配置编的版本号,方便将来回滚,无实际约束。
models:角色分配是核心
每个模型条目四要素:
name:显示名,界面里切换模型时看到的就是它。provider: ollama:走 Ollama 通道。换成本地其他推理服务(如 LM Studio)时才改这里。model:Ollama 里的模型标签,必须和ollama list里看到的一字不差。apiBase:Ollama 地址。本机跑就写http://127.0.0.1:11434;放在内网服务器上就改成那台机器的 IP。这是唯一需要按你的网络环境改的字段。
roles 是整份配置的灵魂,六个角色分工如下:
| 角色 | 触发时机 | 配错的后果 |
|---|---|---|
| chat | 侧边栏对话、问答 | 用小模型答,质量明显不行 |
| edit | 选中代码按 Ctrl+I 给指令改写 | 同上 |
| apply | 把模型给出的代码块真正写进文件 | 用慢模型点一次等半天;一般和 chat 用同一个 |
| autocomplete | 打字时的灰色行内补全 | 误配成大模型是最常见的翻车点,延迟直接爆炸 |
| embed | 给代码库建向量索引 | 不配则 @Codebase 完全不可用 |
| rerank | 对索引检索结果重排序 | 不配也能用,只是 @Codebase 答得糙一点 |
注意 apply 角色:Continue 在对话里生成代码后,点「Apply」把改动落到文件这一步是单独走一个模型的,因为它要做的是把完整文件内容和代码块做合并,要求快且稳,通常直接和 chat 共用同一个模型即可,不必单列。
两个可选参数值得单独说:
requestOptions.timeout:毫秒。对话用大模型生成长回答时,默认超时容易误杀,14B 级别设 60000 比较稳。autocompleteOptions:补全专属。debounceDelay是你停手多少毫秒后才发请求,太小会狂发请求、太大跟不上手速,400–600 是甜点区。maxPromptTokens限制补全时带多少上下文,1024 兼顾速度和相关性。embedOptions.maxChunkSize:索引切块大小。代码文件按 512 切比较均衡;文档型仓库可以放大到 1024。
context:上下文提供者
context 段决定你在对话里打 @ 时能引用哪些东西:
code:引用当前文件里某个函数/类(按符号选)。codebase:全仓库语义检索,就是靠 embed 模型建的索引在干活。docs:引用官方文档站(Continue 内置了一批常用文档源)。diff:把当前 Git 改动喂给模型,写提交说明、做自查 review 都靠它。file/folder:指定文件或整个文件夹作为上下文。terminal:把终端最近输出带进来,报错排查时极其好用。problems:编辑器里标红的报错列表。search:在代码库里做文本搜索。
这段不用背,用到哪个 @ 不出来,再回来查这张单子往里加即可。
实测四场景
配置写好后,在 Continue 面板顶部的配置选择器里切到这份「Private Coding Assistant」,逐个场景验收。
场景一:行内补全
新建一个 Python 文件,写下函数签名和注释:
def retry(func, times=3, delay=1.0): """调用 func,失败后重试,间隔逐次翻倍"""回车后稍等,应该能看到灰色的补全建议(循环、异常捕获、sleep 翻倍那一整段),按 Tab 接受。验收标准:从停手到出现建议应在 1 秒上下。明显更慢,先去排障小节看补全延迟部分。
场景二:选中代码问答
选中一段自己看不太懂的正则或算法,按 Ctrl+L 把它送进对话,问「这段在干什么,边界情况有哪些」。模型应该结合这段代码本身回答,而不是泛泛而谈。这验证的是 chat 角色和上下文传递都通了。
场景三:整文件编辑
打开一个函数,Ctrl+I 输入「给这个函数加上参数校验,非法参数抛 ValueError」。Continue 会以 diff 形式给出改动,逐块接受或拒绝。这一步同时验证 edit 和 apply 两个角色——能生成 diff 说明 edit 通了,能干净地落进文件说明 apply 通了。
场景四:代码库问答 @Codebase
第一次使用先让它建索引:打开 Continue 设置里的索引状态,确认进度走完(大仓库要几分钟)。然后在对话里输入:
@Codebase 这个项目的配置是从哪里加载的?给出文件路径回答里应该引用到具体文件和代码片段,而不是编造。答得离谱,先查 embed 模型有没有配对、索引有没有建完,再考虑 rerank。
四个场景全过,这套私有助手就算搭成了:补全管手速、对话管理解、编辑管落地、Codebase 管全局。
调优:补全延迟与上下文长度
补全为什么必须用 FIM 模型
行内补全的本质是「已知光标前后的代码,填中间的空」。支持 FIM(Fill-in-the-Middle)的模型在训练时专门学过这种「给前缀+后缀、补中间」的格式,补出来的代码能和后文严丝合缝;普通对话模型只能顺着前缀往下编,经常把后面已有的代码再重复一遍。
选补全模型时认准这一点:Qwen2.5-Coder、StarCoder2、DeepSeek-Coder 这几个系列都支持 FIM。不要拿通用对话模型(比如纯 Llama 聊天版)顶补全的班,那是补全质量差的头号原因,排障时先查这里。
延迟从哪来,怎么压
补全的体感延迟由三段组成:防抖等待(debounceDelay,你设的)、网络往返(内网可忽略)、模型生成(大头)。压延迟的顺序:
- 补全模型换小:7B 是甜点,显存富裕也别超过 14B,补全要的是 token 吐得快。
maxPromptTokens别贪大:从 2048 降到 1024,相关性损失很小,速度提升明显。- 让补全模型常驻显存:
OLLAMA_KEEP_ALIVE设长一点,避免每次补全先花几秒加载模型。 - 对话和补全抢显存时,优先保补全:把对话模型降一档(32B → 14B)比让补全排队划算得多。
上下文长度:别被默认值坑了
Ollama 默认给模型的上下文窗口只有 2048 token,对聊天勉强够,对编程场景远远不够:一个中等长度的文件就爆了,模型会「忘掉」文件开头,@Codebase 的回答也跟着残缺。两个办法:
办法一,给 Ollama 设全局上下文长度(较新版本的 Ollama 支持):
Environment="OLLAMA_CONTEXT_LENGTH=16384"办法二,用 Modelfile 派生一个大上下文版本,适合只想给对话模型扩窗的场景:
FROM qwen2.5-coder:14bPARAMETER num_ctx 32768ollama create qwen-coder-32k -f Modelfile然后把 config.yaml 里对话模型的 model 改成 qwen-coder-32k。
WARNING上下文不是越大越好:窗口翻倍,显存里的 KV 缓存也跟着涨,生成速度还会变慢。无脑拉满到 128K 是最常见的过度调优,对话模型 16K–32K、补全 4K–8K 对绝大多数仓库已经够用。
局限与取舍:什么活别交给它
把预期摆正,这套方案才用得久。和云端旗舰编程助手比,本地小模型的差距主要在三处:
- 复杂重构:跨多文件的大改、需要长链推理的架构调整,14B 级别模型容易改着改着丢约束,产出需要逐行审。云端旗舰在这类活上确实更强。
- 冷门技术栈:训练语料少的框架、公司内部自研库,本地模型基本靠猜;@Codebase 能补一部分上下文,但补不了它没见过的 API。
- 长上下文项目理解:几十万行的大仓,索引检索只能捞回片段,拼不出全局图景,别指望它做架构级问答。
适合放心交给它的活:样板代码、单测生成、正则与脚本、代码解释、报错定位、格式转换、补类型标注、写注释和文档字符串——也就是日常写代码里最耗时但最不需要「聪明」的那 70%。
取舍原则一句话:隐私敏感、重复枯燥的活留在本地;真正烧脑、且代码允许外发的活,临时切回云端模型。Continue 支持在同一份配置里混排本地和云端模型,按场景手动切换,这正是它的好处——不用二选一站队。
常见问题与排障
补全迟迟不出现,或慢到 3 秒以上
按这个顺序查:
- 补全角色是不是误配了大模型或对话模型(roles 里 autocomplete 挂的必须是小个 FIM 模型)。
- 在跑 Ollama 的机器上执行
ollama ps,确认补全模型在显存里常驻,而不是每次请求现加载。 nvidia-smi看显存:如果对话模型把显存占满,补全模型被挤到内存里跑,延迟直接翻十倍。降对话模型一档,或给 Ollama 限制对话模型的常驻。- 跨机器部署时测一下内网延迟,Wi-Fi 抖动也会让补全忽快忽慢,有条件走有线。
Continue 面板报错,连不上 Ollama
先在 VS Code 所在机器上自测接口:
curl http://127.0.0.1:11434/api/tags- 本机都通不了:Ollama 没在跑,或端口不对,先修服务端。
- 本机通、Continue 里不通:多半是
apiBase写错(IP、端口、漏了http://)。 - Ollama 在另一台机器上:确认服务端设了
OLLAMA_HOST=0.0.0.0:11434并重启过服务,且防火墙放行了 11434。注意 apiBase 还写着 127.0.0.1 是跨机器部署时最常见的低级错误——127.0.0.1 永远指你自己这台机器。
@Codebase 回答不引用任何文件,像在编
- 查索引状态:Continue 里看代码库索引是否建完,中途失败会静默降级成「无索引问答」。
- 查 embed 角色:config.yaml 里有没有模型挂了 embed 角色,模型名和
ollama list对不对得上。嵌入模型没配对时不报错、只是不用,这是最阴的一种故障。 - 仓库刚大改过结构:手动触发一次重新索引,旧索引里的路径全是过期的。
补全建议驴唇不对马嘴,重复已有代码
典型的「补全模型不支持 FIM」症状:它在顺着前缀续写,而不是填空。把 autocomplete 换成 Qwen2.5-Coder、StarCoder2 这类明确支持 FIM 的模型;同时检查 maxPromptTokens 是否被设得过小(比如 256),上下文喂太少,模型只能瞎猜。
改完 config.yaml 不生效
config.yaml 是热加载的,保存后一般几秒内生效。如果改了没反应:确认改的是当前选中的那份配置(Continue 支持多份配置并存,界面顶部能切换);再确认 YAML 缩进没错位——YAML 对缩进极其敏感,一个空格错位就会整段失效且不报错,拿不准时把文件贴进任意 YAML 校验工具先验一遍。
中文注释和中文提问回答质量差
对话模型换中文友好的系列:Qwen 系列对中文的理解明显好于同尺寸的 Llama 系。如果主力是英文代码+中文交流,Qwen2.5-Coder 兼顾得最好,这也是上面配置拿它当主力的原因。
小结
- 私有编程助手的价值就两条:代码不出内网,订阅费归零,代价是复杂任务上和云端旗舰有真实差距,心里要有数。
- 搭这套东西的关键不在装,而在 Continue 的角色分工:对话用大模型、补全用小的 FIM 模型、索引用嵌入模型,三者别串位。
- config.yaml 里真正要按自己环境改的只有
apiBase和模型尺寸,其余照抄就能跑通四个基本场景。 - 调优先压补全延迟,再扩对话上下文;窗口别贪大,够用即止。
跑通之后,如果想把本地模型再往前推一步——比如给整个团队共用一台推理服务器、或者把模型接到更多工具里——可以接着看本系列的进阶篇。