3390 字
17 分钟
AI 工具应用:AI 语音实战(Whisper 转写 + TTS 合成)
2026-11-15

先分清:语音 AI 其实是两件事#

和语音打交道的 AI 工具,归根到底只做两件事。第一件是听懂:把人说的话变成文字,业内叫 ASR(自动语音识别),会议记录、视频字幕、录音整理都是这一类。第二件是开口:把文字读出来,叫 TTS(文本转语音),有声书、播报音频、视频配音都是这一类。这两件事技术路线完全不同,工具也基本不通用,先分清自己要的是哪一件,能少走很多弯路。

这一篇的主线就是把两件事各跑通一遍,再串成一条流水线:前半篇用 OpenAI 开源的 Whisper 在本地做转写——录音不出本机、不用按分钟付费;中间讲转写稿怎么加工成字幕和摘要;后半篇讲 TTS 的几条合成路线怎么选;最后用一组命令把「一段录音 → 转写 → 摘要 → 合成播报音频」完整走一遍。本地跑模型的基本功(模型从哪来、显存怎么算)可以先看本系列的 Ollama 部署本地大模型,语音这边是同一套思路的延续。

项目地址:https://github.com/openai/whisper

语音流水线的价值不在单点工具,而在串联:转写解决「内容从哪来」,合成解决「内容怎么回去」,中间的文本加工才是你真正能积累的部分。

Whisper:本地转写的事实标准#

Whisper 是 OpenAI 在 2022 年开源的语音识别模型,用 68 万小时带标注的音频训练,支持 99 种语言的转写,还能把任意语言直接翻译成英文。它最大的好处是完全离线:模型下载到本地之后,录音文件不需要上传任何服务器,涉密会议、未发布的访谈素材都可以放心处理。官方仓库提供命令行工具和 Python 库两种用法,命令行开箱即用。

先装好运行环境。它依赖 Python 和 FFmpeg(负责解码各种音频格式):

Terminal window
# Ubuntu / Debian
sudo apt update && sudo apt install -y ffmpeg python3-pip
# 安装 Whisper 本体
pip install -U openai-whisper
# 验证安装
whisper --help

如果机器上有 NVIDIA 显卡,再装带 CUDA 的 PyTorch,转写速度能差出一个数量级:

Terminal window
pip install torch --index-url https://download.pytorch.org/whl/cu121

模型五档:体积、速度、精度怎么选#

Whisper 有五个尺寸,从 tiny 到 large 不等。选型的核心就一句话:用你的硬件能轻松跑动的最大那一档。小模型快但错字多,后期校对的时间往往比省下的转写时间还长。

模型参数量模型体积显存需求(约)相对速度精度与适用场景
tiny39 M75 MB1 GB最快(约 32 倍速)只适合试玩,中文错字率明显偏高
base74 M142 MB1 GB约 16 倍速简单英文短句,中文勉强可用
small244 M466 MB2 GB约 6 倍速中文日常对话可用,性价比起点
medium769 M1.5 GB5 GB约 2 倍速中文准确率明显跃升,推荐主力
large-v31550 M3.1 GB10 GB1 倍速(基准)精度最高,专有名词与口音处理最好
WARNING

large-v3 精度最高,但对硬件的要求也是实打实的:没有独显、只靠 CPU 硬跑,一小时录音可能要转上几个小时。不要在低配机器上无脑上 large 档,先拿一小段真实录音分别用 medium 和 large 试转,对比错字率再定档——很多场景 medium 已经够用。

命令行转写:一次跑通#

最基础的用法只有一行。第一次运行时会自动下载对应模型到 ~/.cache/whisper:

Terminal window
# 转写一段中文录音,指定模型与语言
whisper meeting.mp3 --model medium --language Chinese --output_format all --output_dir ./out

几个关键参数:

  • --model:模型档位,默认是 turbo 以外的 small,不指定容易精度不够,建议显式写。
  • --language:指定语言能显著提升准确率并加快速度;不指定时它会拿前 30 秒音频自动猜,猜错整段全歪。中文写 Chinese,英文写 English。
  • --output_format:输出格式,可选 txt(纯文本)、srt(字幕)、vtt(网页字幕)、json(带逐词时间戳的完整结果)、tsv。可以写 all 一次全出。
  • --task translate:翻译模式,把任意语言的音频直接转写成英文文本。注意它只往英文翻,不能反向,也不能翻成中文。

转写视频文件也一样,FFmpeg 会自动抽音轨:

Terminal window
whisper lecture.mp4 --model medium --language Chinese --output_format srt

产物 lecture.srt 就是可以直接压进播放器或上传视频平台的字幕文件。

faster-whisper:同样的模型,快四倍#

官方实现基于 PyTorch,够用但不算快。社区项目 faster-whisper 用 CTranslate2 引擎重新实现了推理,同等精度下速度最高约 4 倍、显存占用更低,还支持 int8 量化让 CPU 也能跑大模型。已经有大量转写任务要处理时,值得换过去:

Terminal window
pip install faster-whisper
from faster_whisper import WhisperModel
# device 与 compute_type 按硬件选:有独显用 cuda + float16,
# 纯 CPU 用 cpu + int8
model = WhisperModel("medium", device="cuda", compute_type="float16")
segments, info = model.transcribe(
"meeting.mp3",
language="zh",
beam_size=5,
vad_filter=True, # 过滤静音段,减少幻觉与空转
)
print(f"检测语言:{info.language},置信度:{info.language_probability:.2f}")
for seg in segments:
print(f"[{seg.start:>7.2f} -> {seg.end:>7.2f}] {seg.text}")

其中 vad_filter 很实用:录音里的长静音段是 Whisper 产生「幻觉」(凭空编句子)的主要来源,先用语音活动检测把静音切掉,转写质量和速度都会变好。

转写只是第一步:文本加工流水线#

原始转写稿通常不能直接用:没有标点分段(Whisper 中文标点时有时无)、没有说话人区分、口语重复多。常见的加工有三步:

  1. 字幕校对:把 SRT 导入剪映、Aegisub 这类字幕工具,重点修三类错——人名与专有名词、同音字、断句位置。专有名词可以在转写时就用 --initial_prompt 给模型递小抄,比如 whisper a.mp3 --initial_prompt "本期嘉宾:张工,讨论 Kubernetes 与 etcd",模型会倾向于输出这些词的正确写法。
  2. 内容摘要:把纯文本稿丢给大模型做摘要、提要点、列待办。提示词怎么写才稳定,见本系列的 提示词工程实战,会议纪要场景直接套「结论先行+分议题+待办带负责人」的结构即可。
  3. 双语字幕:先转写出原文字幕,再逐行翻译成目标语言,最后把两份 SRT 按时间轴合并。翻译这一步务必以行为单位、保留时间轴不动,只换文本,否则字幕会越对越错位。
WARNING

不要把转写稿不经校对就直接当正式字幕发布。Whisper 在静音、背景音乐、多人抢话的片段上会自信地编造内容,这类「幻觉字幕」混在正常文本里极难肉眼排查,发布前至少把无声段和音乐段对应的字幕人工扫一遍。

TTS 合成:把文字读出来#

转写是把声音变文字,TTS 是反过来。选型时先分清三条路线:

路线代表音质成本隐私适合场景
云端商业 API各大云厂商语音服务高,音色库丰富按字符付费文本要上传正式产品、对外播报
本地开源模型ChatTTS、GPT-SoVITS 一类中到高,看模型免费,吃显存完全本地批量生成、声音克隆实验
轻量在线合成edge-tts中上,音色自然免费文本走微软在线接口个人播客、视频旁白、临时播报

个人使用最顺手的是 edge-tts:它调用微软 Edge 浏览器朗读背后的在线接口,装一个命令行工具就能用,中文音色质量相当能打:

Terminal window
pip install edge-tts
# 查看全部中文音色
edge-tts --list-voices | grep zh-CN
# 合成一段播报:晓晓音色,语速略放慢
edge-tts --voice zh-CN-XiaoxiaoNeural --rate=-10% \
--text "大家好,这是今天的会议摘要。" --write-media brief.mp3

常用中文音色里,zh-CN-XiaoxiaoNeural(晓晓,女声)适合通用播报,zh-CN-YunyangNeural(云扬,男声)是新闻主播腔,正式场合更稳。语速用 --rate 调,音调变化用 --pitch 调,两个参数都建议小步试听再定。

如果是给动画短片做旁白,TTS 只是其中一环——从剧本、关键帧到配音、合成的完整链路,见本系列的 Muse 动画短片工作流。

选 TTS 路线只看两件事:文本能不能出本机、量有多大。量小又不敏感,轻量在线合成最省事;量大或敏感,要么本地模型,要么签正式的云端 API。

完整实战:录音 → 转写 → 摘要 → 播报#

把前面所有环节串起来。目标:一小时的会议录音 meeting.m4a,最终产出一份文字纪要和一段三分钟的语音播报。

Terminal window
# 第 0 步:统一转成 16kHz 单声道 WAV,转写更稳、更快
ffmpeg -i meeting.m4a -ar 16000 -ac 1 meeting.wav
# 第 1 步:转写,纯文本和字幕一起出
whisper meeting.wav --model medium --language Chinese \
--output_format all --output_dir ./pipeline
# 第 2 步:把转写稿喂给本地大模型做摘要(Ollama 接口为例)
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3:14b",
"prompt": "把下面的会议转写稿整理成纪要:先一句话结论,再按议题列要点,最后列出带负责人的待办事项。\n\n'"$(cat pipeline/meeting.txt)"'",
"stream": false
}' | python3 -c "import sys,json; print(json.load(sys.stdin)['response'])" > summary.txt
# 第 3 步:摘要合成播报音频
edge-tts --voice zh-CN-YunyangNeural --rate=-5% \
--file summary.txt --write-media brief.mp3

跑完得到三件产物:pipeline/meeting.srt 是可发布的字幕,summary.txt 是文字纪要,brief.mp3 是可以直接发群里、放车上听的语音版。整条流水线除 TTS 那一步调用了在线接口外,其余全部在本地完成,录音和纪要都不出机器。

WARNING

声音克隆有明确的边界:克隆他人的声音必须取得本人同意,用克隆声音冒充本人发言、打电话、做证明材料,在多数司法辖区已经涉嫌违法,平台侧也普遍封禁。自己录自己的声音做素材、给自己的视频配音,是这类技术正当的用法。

常见问题与排障#

转写结果里出现整段重复或凭空编造的句子。 这是 Whisper 的幻觉,多发生在静音、纯音乐、多人同时说话的片段。处理顺序:先开 vad_filter(faster-whisper)或剪掉长静音段;把 --condition_on_previous_text 关掉避免错误滚雪球;还不行就降一档模型或换 large 档对比。原始命令行版本可以加 --no_speech_threshold 0.6 提高对无声段的抑制。

中文转写全是繁体字。 模型按语料分布输出,碰到偏港台语料的音频容易出繁体。两个办法:转写后用 OpenCC 一行转换 opencc -i in.txt -o out.txt -c t2s;或者用 --initial_prompt 给一段简体中文文本,引导输出风格。

明明有显卡却跑得像 CPU 一样慢。 先确认 PyTorch 装的是 CUDA 版本:python3 -c "import torch; print(torch.cuda.is_available())" 返回 False 就是装成了 CPU 版,按前文的命令重装对应 CUDA 版本的 torch。另外 Whisper 命令行可以显式加 --device cuda 与 --fp16 True。

显存不足(CUDA out of memory)。 降一档模型是最直接的;用 faster-whisper 时把 compute_type 改成 int8_float16 或纯 int8,显存能省一半左右,精度损失很小。长音频本身不怎么吃显存,吃显存的是模型档位,别被文件大小误导。

转写准但标点和断句一塌糊涂。 先换大一档模型,标点能力随模型规模明显变好;仍不理想就把纯文本稿交给大模型做「只加标点和分段、不改原文」的后处理,并在提示词里写死不许改词、不许删减,处理完抽查几段对照原文。

edge-tts 报错或合成中断。 它依赖微软的在线接口,网络抖动和接口限流都会导致失败,表现为连接错误或音频不完整。对策:长文本拆成小段逐段合成再用 FFmpeg 拼接;反复失败就换时段重试,或改走本地 TTS 模型,不要在脚本里无限重试把接口打挂。

多人会议分不清谁在说话。 Whisper 本身不做说话人分离(Diarization),它只管把声音变文字。要区分发言人,用带分离能力的封装(如 WhisperX 的对齐+分离流程)做后处理,或者录的时候就分轨——每人一个麦克风,胜过事后任何算法补救。

小结#

这一篇把语音的两件事各跑通了一遍:

  • 转写(ASR):Whisper 本地离线运行,选型口诀是硬件能轻松跑动的最大档,中文主力推荐 medium 起步;量大再上 faster-whisper 提速。
  • 加工:转写稿不是终点,字幕校对、摘要、双语化才是真正的生产力环节,其中幻觉片段必须人工复核。
  • 合成(TTS):个人场景 edge-tts 免费够用,正式与批量场景再考虑云端 API 或本地模型。
  • 串联:录音 → 转写 → 摘要 → 播报的四步流水线全部可以脚本化,一次搭好,反复使用。

语音处理跑通之后,本地 AI 的感知(听、说)、思考(大模型)、行动(工具调用)就凑齐了。系列接下来的篇目会把这些能力组合进更完整的应用里。

AI 工具应用:AI 语音实战(Whisper 转写 + TTS 合成)
https://www.anexns.cloudns.org/posts/ai-voice-whisper-tts/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0