先分清:语音 AI 其实是两件事
和语音打交道的 AI 工具,归根到底只做两件事。第一件是听懂:把人说的话变成文字,业内叫 ASR(自动语音识别),会议记录、视频字幕、录音整理都是这一类。第二件是开口:把文字读出来,叫 TTS(文本转语音),有声书、播报音频、视频配音都是这一类。这两件事技术路线完全不同,工具也基本不通用,先分清自己要的是哪一件,能少走很多弯路。
这一篇的主线就是把两件事各跑通一遍,再串成一条流水线:前半篇用 OpenAI 开源的 Whisper 在本地做转写——录音不出本机、不用按分钟付费;中间讲转写稿怎么加工成字幕和摘要;后半篇讲 TTS 的几条合成路线怎么选;最后用一组命令把「一段录音 → 转写 → 摘要 → 合成播报音频」完整走一遍。本地跑模型的基本功(模型从哪来、显存怎么算)可以先看本系列的 Ollama 部署本地大模型,语音这边是同一套思路的延续。
项目地址:https://github.com/openai/whisper
语音流水线的价值不在单点工具,而在串联:转写解决「内容从哪来」,合成解决「内容怎么回去」,中间的文本加工才是你真正能积累的部分。
Whisper:本地转写的事实标准
Whisper 是 OpenAI 在 2022 年开源的语音识别模型,用 68 万小时带标注的音频训练,支持 99 种语言的转写,还能把任意语言直接翻译成英文。它最大的好处是完全离线:模型下载到本地之后,录音文件不需要上传任何服务器,涉密会议、未发布的访谈素材都可以放心处理。官方仓库提供命令行工具和 Python 库两种用法,命令行开箱即用。
先装好运行环境。它依赖 Python 和 FFmpeg(负责解码各种音频格式):
# Ubuntu / Debiansudo apt update && sudo apt install -y ffmpeg python3-pip
# 安装 Whisper 本体pip install -U openai-whisper
# 验证安装whisper --help如果机器上有 NVIDIA 显卡,再装带 CUDA 的 PyTorch,转写速度能差出一个数量级:
pip install torch --index-url https://download.pytorch.org/whl/cu121模型五档:体积、速度、精度怎么选
Whisper 有五个尺寸,从 tiny 到 large 不等。选型的核心就一句话:用你的硬件能轻松跑动的最大那一档。小模型快但错字多,后期校对的时间往往比省下的转写时间还长。
| 模型 | 参数量 | 模型体积 | 显存需求(约) | 相对速度 | 精度与适用场景 |
|---|---|---|---|---|---|
| tiny | 39 M | 75 MB | 1 GB | 最快(约 32 倍速) | 只适合试玩,中文错字率明显偏高 |
| base | 74 M | 142 MB | 1 GB | 约 16 倍速 | 简单英文短句,中文勉强可用 |
| small | 244 M | 466 MB | 2 GB | 约 6 倍速 | 中文日常对话可用,性价比起点 |
| medium | 769 M | 1.5 GB | 5 GB | 约 2 倍速 | 中文准确率明显跃升,推荐主力 |
| large-v3 | 1550 M | 3.1 GB | 10 GB | 1 倍速(基准) | 精度最高,专有名词与口音处理最好 |
WARNINGlarge-v3 精度最高,但对硬件的要求也是实打实的:没有独显、只靠 CPU 硬跑,一小时录音可能要转上几个小时。不要在低配机器上无脑上 large 档,先拿一小段真实录音分别用 medium 和 large 试转,对比错字率再定档——很多场景 medium 已经够用。
命令行转写:一次跑通
最基础的用法只有一行。第一次运行时会自动下载对应模型到 ~/.cache/whisper:
# 转写一段中文录音,指定模型与语言whisper meeting.mp3 --model medium --language Chinese --output_format all --output_dir ./out几个关键参数:
--model:模型档位,默认是 turbo 以外的 small,不指定容易精度不够,建议显式写。--language:指定语言能显著提升准确率并加快速度;不指定时它会拿前 30 秒音频自动猜,猜错整段全歪。中文写Chinese,英文写English。--output_format:输出格式,可选 txt(纯文本)、srt(字幕)、vtt(网页字幕)、json(带逐词时间戳的完整结果)、tsv。可以写all一次全出。--task translate:翻译模式,把任意语言的音频直接转写成英文文本。注意它只往英文翻,不能反向,也不能翻成中文。
转写视频文件也一样,FFmpeg 会自动抽音轨:
whisper lecture.mp4 --model medium --language Chinese --output_format srt产物 lecture.srt 就是可以直接压进播放器或上传视频平台的字幕文件。
faster-whisper:同样的模型,快四倍
官方实现基于 PyTorch,够用但不算快。社区项目 faster-whisper 用 CTranslate2 引擎重新实现了推理,同等精度下速度最高约 4 倍、显存占用更低,还支持 int8 量化让 CPU 也能跑大模型。已经有大量转写任务要处理时,值得换过去:
pip install faster-whisperfrom faster_whisper import WhisperModel
# device 与 compute_type 按硬件选:有独显用 cuda + float16,# 纯 CPU 用 cpu + int8model = WhisperModel("medium", device="cuda", compute_type="float16")
segments, info = model.transcribe( "meeting.mp3", language="zh", beam_size=5, vad_filter=True, # 过滤静音段,减少幻觉与空转)
print(f"检测语言:{info.language},置信度:{info.language_probability:.2f}")for seg in segments: print(f"[{seg.start:>7.2f} -> {seg.end:>7.2f}] {seg.text}")其中 vad_filter 很实用:录音里的长静音段是 Whisper 产生「幻觉」(凭空编句子)的主要来源,先用语音活动检测把静音切掉,转写质量和速度都会变好。
转写只是第一步:文本加工流水线
原始转写稿通常不能直接用:没有标点分段(Whisper 中文标点时有时无)、没有说话人区分、口语重复多。常见的加工有三步:
- 字幕校对:把 SRT 导入剪映、Aegisub 这类字幕工具,重点修三类错——人名与专有名词、同音字、断句位置。专有名词可以在转写时就用
--initial_prompt给模型递小抄,比如whisper a.mp3 --initial_prompt "本期嘉宾:张工,讨论 Kubernetes 与 etcd",模型会倾向于输出这些词的正确写法。 - 内容摘要:把纯文本稿丢给大模型做摘要、提要点、列待办。提示词怎么写才稳定,见本系列的 提示词工程实战,会议纪要场景直接套「结论先行+分议题+待办带负责人」的结构即可。
- 双语字幕:先转写出原文字幕,再逐行翻译成目标语言,最后把两份 SRT 按时间轴合并。翻译这一步务必以行为单位、保留时间轴不动,只换文本,否则字幕会越对越错位。
WARNING不要把转写稿不经校对就直接当正式字幕发布。Whisper 在静音、背景音乐、多人抢话的片段上会自信地编造内容,这类「幻觉字幕」混在正常文本里极难肉眼排查,发布前至少把无声段和音乐段对应的字幕人工扫一遍。
TTS 合成:把文字读出来
转写是把声音变文字,TTS 是反过来。选型时先分清三条路线:
| 路线 | 代表 | 音质 | 成本 | 隐私 | 适合场景 |
|---|---|---|---|---|---|
| 云端商业 API | 各大云厂商语音服务 | 高,音色库丰富 | 按字符付费 | 文本要上传 | 正式产品、对外播报 |
| 本地开源模型 | ChatTTS、GPT-SoVITS 一类 | 中到高,看模型 | 免费,吃显存 | 完全本地 | 批量生成、声音克隆实验 |
| 轻量在线合成 | edge-tts | 中上,音色自然 | 免费 | 文本走微软在线接口 | 个人播客、视频旁白、临时播报 |
个人使用最顺手的是 edge-tts:它调用微软 Edge 浏览器朗读背后的在线接口,装一个命令行工具就能用,中文音色质量相当能打:
pip install edge-tts
# 查看全部中文音色edge-tts --list-voices | grep zh-CN
# 合成一段播报:晓晓音色,语速略放慢edge-tts --voice zh-CN-XiaoxiaoNeural --rate=-10% \ --text "大家好,这是今天的会议摘要。" --write-media brief.mp3常用中文音色里,zh-CN-XiaoxiaoNeural(晓晓,女声)适合通用播报,zh-CN-YunyangNeural(云扬,男声)是新闻主播腔,正式场合更稳。语速用 --rate 调,音调变化用 --pitch 调,两个参数都建议小步试听再定。
如果是给动画短片做旁白,TTS 只是其中一环——从剧本、关键帧到配音、合成的完整链路,见本系列的 Muse 动画短片工作流。
选 TTS 路线只看两件事:文本能不能出本机、量有多大。量小又不敏感,轻量在线合成最省事;量大或敏感,要么本地模型,要么签正式的云端 API。
完整实战:录音 → 转写 → 摘要 → 播报
把前面所有环节串起来。目标:一小时的会议录音 meeting.m4a,最终产出一份文字纪要和一段三分钟的语音播报。
# 第 0 步:统一转成 16kHz 单声道 WAV,转写更稳、更快ffmpeg -i meeting.m4a -ar 16000 -ac 1 meeting.wav
# 第 1 步:转写,纯文本和字幕一起出whisper meeting.wav --model medium --language Chinese \ --output_format all --output_dir ./pipeline
# 第 2 步:把转写稿喂给本地大模型做摘要(Ollama 接口为例)curl -s http://localhost:11434/api/generate -d '{ "model": "qwen3:14b", "prompt": "把下面的会议转写稿整理成纪要:先一句话结论,再按议题列要点,最后列出带负责人的待办事项。\n\n'"$(cat pipeline/meeting.txt)"'", "stream": false}' | python3 -c "import sys,json; print(json.load(sys.stdin)['response'])" > summary.txt
# 第 3 步:摘要合成播报音频edge-tts --voice zh-CN-YunyangNeural --rate=-5% \ --file summary.txt --write-media brief.mp3跑完得到三件产物:pipeline/meeting.srt 是可发布的字幕,summary.txt 是文字纪要,brief.mp3 是可以直接发群里、放车上听的语音版。整条流水线除 TTS 那一步调用了在线接口外,其余全部在本地完成,录音和纪要都不出机器。
WARNING声音克隆有明确的边界:克隆他人的声音必须取得本人同意,用克隆声音冒充本人发言、打电话、做证明材料,在多数司法辖区已经涉嫌违法,平台侧也普遍封禁。自己录自己的声音做素材、给自己的视频配音,是这类技术正当的用法。
常见问题与排障
转写结果里出现整段重复或凭空编造的句子。 这是 Whisper 的幻觉,多发生在静音、纯音乐、多人同时说话的片段。处理顺序:先开 vad_filter(faster-whisper)或剪掉长静音段;把 --condition_on_previous_text 关掉避免错误滚雪球;还不行就降一档模型或换 large 档对比。原始命令行版本可以加 --no_speech_threshold 0.6 提高对无声段的抑制。
中文转写全是繁体字。 模型按语料分布输出,碰到偏港台语料的音频容易出繁体。两个办法:转写后用 OpenCC 一行转换 opencc -i in.txt -o out.txt -c t2s;或者用 --initial_prompt 给一段简体中文文本,引导输出风格。
明明有显卡却跑得像 CPU 一样慢。 先确认 PyTorch 装的是 CUDA 版本:python3 -c "import torch; print(torch.cuda.is_available())" 返回 False 就是装成了 CPU 版,按前文的命令重装对应 CUDA 版本的 torch。另外 Whisper 命令行可以显式加 --device cuda 与 --fp16 True。
显存不足(CUDA out of memory)。 降一档模型是最直接的;用 faster-whisper 时把 compute_type 改成 int8_float16 或纯 int8,显存能省一半左右,精度损失很小。长音频本身不怎么吃显存,吃显存的是模型档位,别被文件大小误导。
转写准但标点和断句一塌糊涂。 先换大一档模型,标点能力随模型规模明显变好;仍不理想就把纯文本稿交给大模型做「只加标点和分段、不改原文」的后处理,并在提示词里写死不许改词、不许删减,处理完抽查几段对照原文。
edge-tts 报错或合成中断。 它依赖微软的在线接口,网络抖动和接口限流都会导致失败,表现为连接错误或音频不完整。对策:长文本拆成小段逐段合成再用 FFmpeg 拼接;反复失败就换时段重试,或改走本地 TTS 模型,不要在脚本里无限重试把接口打挂。
多人会议分不清谁在说话。 Whisper 本身不做说话人分离(Diarization),它只管把声音变文字。要区分发言人,用带分离能力的封装(如 WhisperX 的对齐+分离流程)做后处理,或者录的时候就分轨——每人一个麦克风,胜过事后任何算法补救。
小结
这一篇把语音的两件事各跑通了一遍:
- 转写(ASR):Whisper 本地离线运行,选型口诀是硬件能轻松跑动的最大档,中文主力推荐 medium 起步;量大再上 faster-whisper 提速。
- 加工:转写稿不是终点,字幕校对、摘要、双语化才是真正的生产力环节,其中幻觉片段必须人工复核。
- 合成(TTS):个人场景 edge-tts 免费够用,正式与批量场景再考虑云端 API 或本地模型。
- 串联:录音 → 转写 → 摘要 → 播报的四步流水线全部可以脚本化,一次搭好,反复使用。
语音处理跑通之后,本地 AI 的感知(听、说)、思考(大模型)、行动(工具调用)就凑齐了。系列接下来的篇目会把这些能力组合进更完整的应用里。