4484 字
22 分钟
AI 工具应用:RAG 个人知识库
2026-11-15

先说问题:你的文档,大模型一无所知#

攒了几年的文档躺在硬盘里:产品手册、合同模板、会议纪要、读书笔记、自己写过的运维文档。想查点什么,只能靠文件名和全文搜索硬翻。把问题丢给大模型也没用——它训练时没见过你的私有文档,问它只会一本正经地编。

另一条看似省事的路,是把整篇文档复制进对话框,让模型「读完再答」。文档一长,这条路立刻露馅:

  • 塞不下:几十页的 PDF 动不动几万字,超过上下文窗口就直接截断,模型只看到前半截。
  • 塞得下也贵:每问一个问题都要把全文重新发一遍,按 Token 计费的 API 账单涨得飞快,本地模型则要先花几十秒「读」一遍才开口。
  • 注意力被稀释:上下文越长,模型越容易忽略中间段落的关键信息,业内把这叫 Lost in the Middle——答案明明在文档里,它就是视而不见。

RAG(Retrieval-Augmented Generation,检索增强生成)换了个思路:不让模型背下你的文档,而是先从文档里检索出相关的几段,再让它照着这几段回答。相当于把开卷考试的书提前做成了带索引的卡片,答题时只翻相关的那几张。这一篇就把这套流水线拆开讲透,再动手搭一个真正能用的个人知识库。

RAG 是什么:先检索,再回答#

一次完整的 RAG 问答分两个阶段。建库阶段是离线做的:把文档切成小段,每段用 Embedding 模型转成一串数字(向量),存进向量库。提问阶段是实时做的:把用户的问题也转成向量,去库里找最相似的几段,连同问题一起拼进提示词,交给 LLM 生成回答。

文档 ──→ 切分 Chunk ──→ Embedding 模型 ──→ 向量库(建库,离线一次)
↑
问题 ──→ Embedding 模型 ──→ 向量检索 Top-K ───┘
↓
拼提示词(上下文+问题)──→ LLM ──→ 带出处回答

和另外两种让模型「学会」私有数据的办法比,RAG 的定位非常清楚:

方案做法更新文档成本出处可追溯适合场景
RAG检索相关片段再回答改文档重建索引即可,分钟级低,主要是嵌入与少量生成 Token能,能标出引用的原文段落文档问答、客服知识库、企业内搜
长上下文直塞整篇文档放进提示词每次提问都要重发全文高,长文档反复计费勉强,模型自己未必说得清一次性分析单篇短文档
微调(Fine-tuning)用文档继续训练模型重新训练,天级起步高,要 GPU 和数据工程不能,知识揉进参数里改变说话风格、固定输出格式

结论先放这里:**个人知识库九成场景选 RAG 就对了——它不训练模型,只给模型配了一个随时可更新的外置索引。**微调解决的是「怎么说」,RAG 解决的是「说什么」,两者不是替代关系。

五步流水线:把 RAG 拆开看#

流水线的每一段都有自己的关键参数,任何一段拉胯,最终答案都会跟着歪。逐段拆:

第一步:文档切分(Chunk)#

文档不能整篇存进向量库,必须先切成几百字的小段。原因很实际:检索的粒度就是切分的粒度,整篇存进去,命中一篇等于把整篇塞回提示词,又回到长上下文的老问题。

切分有三种常见策略:按固定长度切(简单粗暴,可能拦腰截断一句话);按段落和标题切(保住语义边界,长段落再二次切分);按 Markdown 标题层级切(结构化文档效果最好)。实际经验值:中文文档每段 300~600 字、重叠保留上一段的 10%~20% 作为 overlap,是个稳妥的起点。分段过大,检索回来的全是无关上下文;分段过小,一句完整的话被切成两半,答案支离破碎。

第二步:嵌入向量(Embedding)#

Embedding 模型负责把每段文字转成向量(一串几百到几千维的浮点数)。它的本事是「语义近,向量就近」:「怎么重置密码」和「找回登录口令」字面没几个字相同,向量距离却很近——这是关键词搜索做不到的。

选嵌入模型只看三件事:中文效果、向量维度、跑得快不快。本地路线的常见选择有 bge-m3(多语言,中文表现好,1024 维)、nomic-embed-text(轻量,768 维,英文为主)、mxbai-embed-large 等。用 Ollama 拉取只要一行:

Terminal window
ollama pull bge-m3
ollama pull nomic-embed-text
WARNING

建库和提问必须用同一个嵌入模型:问题向量和文档向量不在同一个坐标系里,距离就算不出来。更要命的是嵌入模型一旦中途更换,库里存量文档的向量全部作废,必须全量重建索引,所以选型要在导入大批文档之前定死,别导了一半才换。

第三步:向量库(Vector Store)#

向量库就是存向量并支持「按相似度快速找 Top-K」的数据库。小规模个人知识库(几万段以内)根本不用上重型装备:AnythingLLM 内置的 LanceDB、单文件的 Chroma 本地模式都够用;文档量再大,或者想让多个应用共用,再考虑 Qdrant、pgvector(PostgreSQL 插件)、Milvus 这类独立服务。个人场景的选型原则是能内嵌就内嵌,少一个常驻服务少一份维护。

第四步:检索(Retrieval)#

提问时,问题先经同一个嵌入模型转成向量,在向量库里按余弦相似度(或欧氏距离)取出最相近的 K 段,这就是 Top-K,个人知识库一般取 3~6。进阶玩法有三个:混合检索(向量检索加关键词 BM25 检索合并结果,专治人名、编号、术语这类必须字面命中的查询)、重排序(先粗召回 20 段,再用 Reranker 模型精排取前 4 段)、查询改写(先让 LLM 把口语化的问题改写成检索友好的表述)。这三个是后面调优章节的主角,这里先混个脸熟。

第五步:拼提示词(Prompt 组装)#

检索到的段落不是直接丢给模型,而是套进一个带约束的模板:

你是知识库问答助手。仅根据下面提供的上下文回答问题;
上下文里没有的信息,明确回答「资料中没有提到」,不要编造。
回答时标注依据来自哪一段上下文。
上下文:
{context}
问题:{question}

这一步看着不起眼,却决定了模型是「照着资料答」还是「自由发挥」。约束句、引用要求、拒答规则都写在这里,想深挖提示词写法的可以看本系列的提示词工程实战。

五段的参数取舍,汇总成一张表:

环节关键参数调大/调强的效果调小/调弱的代价
切分分段长度上下文完整,但检索粒度粗、噪声多命中精准,但语义容易被截断
切分重叠(Overlap)跨段信息不易丢索引体积和重复内容变多
嵌入模型与维度语义表达更细,召回质量上限更高建库和查询更慢、更吃内存
检索Top-K召回更全无关段落挤进提示词,干扰回答
检索相似度阈值只放高相关段落进来,宁缺毋滥阈值过高会把正确答案也挡在门外
拼装提示词约束拒答和引用更规范模板太死板会误杀本可回答的问题

三条搭建路线:工具、平台、代码#

原理清楚了,落地有三条路线,先对号入座:

路线代表上手门槛可控程度适合谁
现成工具型AnythingLLM(桌面版/自托管)低,装好就能导文档中,关键参数都有界面可调只想把个人文档变成能问答的知识库,不想写代码
平台型Dify 知识库中,要先部署平台高,分段、检索、重排序都是独立模块已经在用 Dify 做应用,想把知识库接进工作流
代码型LangChain / LlamaIndex高,要写代码调参数最高,每一段都能换实现开发者,要把 RAG 嵌进自己的产品或做深度定制

平台型的 Dify 知识库和上一篇是同一个生态,部署细节在Dify 工作流应用搭建里有完整流程,这里不重复。代码型先建立概念即可:以 LlamaIndex 为例,整条流水线压缩到几行——

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
documents = SimpleDirectoryReader("docs").load_data() # 读文档
index = VectorStoreIndex.from_documents(documents) # 切分+嵌入+入库
query_engine = index.as_query_engine(similarity_top_k=4) # 检索 Top-K=4
print(query_engine.query("年假有几天?")) # 拼提示词+生成

四行背后正是前面拆的五步。先用工具型把感觉跑通,再看代码型不会抽象。下面就用工具型路线完整搭一个。

实战:用 AnythingLLM 搭一个完整的个人知识库#

AnythingLLM 是开源的知识库问答应用,支持本地部署、内置向量库、能接本地和云端各类模型,正好把五步流水线全包了(本节用的 AnythingLLM 项目地址:https://github.com/Mintplex-Labs/anything-llm )。自托管用 Docker 一条命令(本地模型部署还没弄好的,先看本系列的Ollama 部署本地大模型把模型一侧备齐):

Terminal window
docker run -d --name anythingllm \
-p 3001:3001 \
--cap-add SYS_ADMIN \
-v anythingllm_storage:/app/server/storage \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm:latest

浏览器打开 http://localhost:3001 完成初始化,然后按顺序做四件事:

第一步,选 LLM。 在设置里把对话模型指向本地 Ollama(地址填宿主机 IP 加 11434 端口,容器里别写 localhost),选一个中文能力过关的对话模型。想全本地、零外发,这一步和下一步都走本地是关键。

第二步,选嵌入模型。 在 Embedding 设置里同样选 Ollama,模型填前面拉好的 bge-m3。呼应前面的警告:这一步定下来就别再改,改了要重建全部索引。

第三步,建工作区导文档。 新建一个 Workspace(工作区就是一个独立知识库),把 PDF、Markdown、Word、TXT 拖进去,点 Move to Workspace 再保存,系统会自动完成切分和嵌入,在文档列表里能看到每篇被切成了多少段。先导三五篇你最熟的文档,方便验证答案对错。

第四步,问答实测。 在工作区里直接提问。测的时候专挑三种问题:文档里有明确答案的(验准确)、文档里没有的(验它会不会老实说不知道)、需要跨段落拼凑的(验检索召回)。每条回答下面都会带引用来源,点开能看到命中的原文段落——这是判断问题出在检索还是生成环节的第一手证据。

跑通之后,去工作区设置里把两个参数按自己的文档调一遍:文本分段长度(技术文档可以给到 800~1000,笔记类 400~600 更合适)和向量相似度阈值(默认宽松,噪声多就往上收)。改完分段参数记得对文档重新处理一次才生效。

效果调优:答得准不准,主要看检索#

知识库答歪了,十有八九不是模型的锅。RAG 的答题质量,七分靠检索、三分靠模型:检索没把正确段落捞回来,再强的模型也只能对着无关上下文编。调优按这个顺序来:

  1. 先看引用,再改参数:每次答错,先点开引用看命中的段落对不对。没命中正确段落,是检索问题;命中了却答错,才是模型或提示词问题。
  2. 分段与重叠:答案总差半句话,多半是切分把关键句拦腰截断,加大 overlap 到 20% 再重建;命中的段落总带着大段无关内容,就把分段长度调小。
  3. Top-K 与阈值:问题涉及面广(需要综合多处)就调大 Top-K 到 6~8;简单事实问答保持 3~4 并提高相似度阈值,提示词更干净。
  4. 上重排序:粗召回的顺序不可靠时,加 Reranker(如 bge-reranker 系列)对召回的 20 段精排,再取前 4 段进提示词,对「相关段落排在第 8 位被 Top-K 截掉」这类问题立竿见影。Dify 等平台把重排序做成了知识库的可选开关,工具型应用则看是否支持外接。
  5. 混合检索救专有名词:产品型号、工单编号、人名这类必须字面命中的查询,纯向量检索经常翻车,开启向量+关键词的混合检索能明显改善。
  6. 引用溯源常开:让回答强制标注来源段落,既方便人工核对,也能在答错时一眼定位是哪段资料的问题。

反过来,检索确认无误、引用段落完全正确,模型还是答歪,那才轮到换更大的对话模型或改提示词模板。调优顺序永远是先检索、后模型,顺序反了只会越调越贵。

RAG 的局限:它不是万能的#

把丑话说在前面,免得搭完才发现不对路:

  • 表格是老大难:PDF 里的表格抽出来经常行列错位,合并单元格更是重灾区。问「第三季度华东区销售额」这类查表问题,命中率明显低于正文问答,重要表格建议单独整理成 Markdown 再入库。
  • 扫描件等于白导:扫描版 PDF 里是图片不是文字,不先做 OCR,导进去就是一堆空壳,检索永远命不中。先用 OCR 工具转成可检索文本再入库。
  • 跨文档推理弱:RAG 擅长「答案在某一段里」的查找型问题;「对比 A 方案和 B 方案的成本差异」这种要同时召回多篇文档再做推理的问题,召回容易漏、推理容易浅,只能算勉强可用。
  • 资料本身错了它照答:RAG 只负责忠实复述你的文档,文档里的旧数据、过期政策,它会一本正经地引用出来。知识库的保鲜靠人,不靠模型。
  • 隐私要自己守:本地部署加本地模型,数据可以不出内网;但如果图省事用云端知识库服务,合同、病历、财务这类敏感文档上传之前,先想清楚对方的留存与合规问题。

常见问题与排障#

问:导进去的文档,提问却说找不到? 先查三件事:文档状态是不是处理完成(切分嵌入失败会在文档列表报错);问题问法和文档用词差太远时,换个说法或加上文档里的关键词再试;相似度阈值是不是设得过高,把勉强相关的段落全挡了。

问:回答全是套话,明显没用到文档内容? 多半是 LLM 没接对或工作区没挂文档。确认当前工作区里文档已保存生效,再看回答下方的引用:没有引用,说明这一轮根本没走检索,或者命中的段落被阈值过滤光了。

问:命中的段落是对的,回答却驴唇不对马嘴? 这是生成环节的问题:换中文能力更强的对话模型,或者把提示词模板里的约束写得更明确(要求逐条引用、禁止使用上下文之外的知识)。别一上来就动检索参数。

问:换了嵌入模型之后,旧文档全部搜不到? 正是前面警告过的情况:新旧向量不在同一坐标系。把嵌入模型切回去,或者对全部文档重新处理一遍重建索引,没有第三条路。

问:文档更新了,答案还是旧的? 向量库里存的是旧版本切的段。把新版文档重新上传并处理,旧版本记得删掉,否则新旧段落会同时被检索到,模型可能引用过期的那一份。

问:几百篇文档导进去,建库慢得离谱? 瓶颈通常在嵌入这一步:本地嵌入模型跑在 CPU 上逐段算向量就是慢。对策是换 GPU 跑嵌入、换更轻量的嵌入模型,或者分批导入。建库是一次性成本,提问时的检索反而很快,别为建库速度牺牲长期效果。

问:中英文混排文档效果差? 嵌入模型的多语言能力是关键,中文场景优先选 bge-m3 这类多语言模型;纯英文模型处理中文文档,语义向量质量会明显打折。

小结#

RAG 的本质,是给大模型配了一个可检索、可更新、可溯源的外置记忆:文档切分决定粒度,嵌入模型决定语义坐标,向量库决定存取效率,检索决定喂什么,提示词决定怎么答。个人知识库用 AnythingLLM 这类工具半小时就能跑通,真正的功夫在后面的调优——记住先检索、后模型的顺序,盯着引用溯源一段段抠,效果比盲目换大模型实在得多。下一篇我们换个赛道,看看 Dify 怎么把知识库接进可视化工作流里。

AI 工具应用:RAG 个人知识库
https://www.anexns.cloudns.org/posts/ai-rag-knowledge-base/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0