先说问题:AI 短视频难的不是生成,是后面三件事
现在随便打开一个 AI 视频工具,输入一句话就能出片,看起来门槛已经低到没有了。但真动手做几条就会发现,卡住人的从来不是”点生成”这一下,而是三件具体的事:
- 提示词写不准。 脑子里画面很清楚,写出来三行字,模型理解成另一个样子。镜头语言、节拍、人物状态全靠临场发挥,每次生成都像开盲盒。
- 长片拼不连贯。 单段视频就十秒上下,想做 30 秒以上的内容只能分段生成,可段与段之间人物变脸、场景跳变、光线乱飘,拼起来像三个不同的人演的。
- 人物不崩不住。 参考图明明是同一个人,生成到第二段就换了张脸;你说不清是哪句提示词的问题,也没有验证手段,只能重抽。
这三件事的共同点是:它们都不是模型能力问题,而是流程问题。没有模板,提示词质量全靠手感;没有拼接规范,长片必然散架;没有验证环节,偏差只能靠肉眼在成片里找,找到了也不知道怎么改。
muse-video-prompt-skill 就是冲着这三件事来的:它是一套给 AI 助手用的技能包(Agent Skill),把”写提示词 → 生成 → 拼接 → 验证”做成一个有模板、有脚本、有案例库的实战闭环。本篇主线:装上技能包 → 用六段式模板写准提示词 → 三个变体覆盖常见拍法 → 多段拼接做长片 → 抽帧验证把偏差写在纸上 → 最后认清它的能力边界。
它是什么:一套装在 Agent 里的视频实战闭环
先把定位说清楚。muse-video-prompt-skill 不是一个视频生成工具,它本身不生成任何视频。它是一套 Skill(技能包)——一组写给 AI 助手读的规范文档加一个验证脚本,装进你用的 Agent(比如 Muse、Muse 这类支持 Skill 的助手)之后,助手在帮你做视频时会自动按这套规范干活:写提示词时套六段式模板,生成长片时按节拍拆段拼接,每段生成完自动抽帧核对,结果沉淀进案例库。
仓库结构很小,一眼能看完:
| 文件 | 作用 |
|---|---|
SKILL.md | 技能入口:整套工作流与操作规范 |
CONSTITUTION.md | 设计原则:诚实、成片优先、短闭环、复利、精简 |
references/prompt-template.md | 六段式提示词模板+三个变体 |
references/model-notes.md | 内置视频模型的实测能力边界 |
references/consistency.md | 人物一致性打法 |
references/dialogue.md | 对白规范(默认台湾腔国语,可改) |
references/stitch-workflow.md | 分段 → 拼接 → 验证流程 |
references/cases/ | 案例库:每次实验一张案例卡 |
bin/extract_frames.py | 抽帧自检脚本 |
这套东西和”前期策划型”技能的分工不同:像 muse-video-skill 那种虚拟剧组引擎负责开拍前的剧本、分镜、美术策划,产出策划案;而 muse-video-prompt-skill 负责的是生成端闭环——策划定了之后,提示词怎么写、片怎么拼、结果怎么验。两者一前一后,可以串起来用。
一句话定位:它管的不是创意,是把创意稳定地变成成片的执行流程。
安装:克隆下来放进 skills 目录
安装没有包管理器,就是克隆仓库、把目录放进你所用 Agent 的 skills 目录:
git clone https://github.com/masonmosen/muse-video-prompt-skill.git
# 放进所用 Agent 的 skills 目录,例如 Claude Code:放好之后不用做任何配置。下次在对话里提出视频需求,Agent 会自动加载这套技能,按里面的模板和流程推进。抽帧验证依赖 bin/extract_frames.py,它底层调 ffmpeg 抽帧,所以本机需要装有 ffmpeg,这个后面排障一节还会提到。
核心武器:六段式提示词模板逐段讲
整套技能的心脏是六段式提示词模板。它把一条视频提示词拆成六个固定段落,缺哪段补哪段,写的时候逐段过一遍,模型就没有发挥跑偏的空间。
第一段:时长与画幅
先钉死物理参数:总时长、画幅比例、帧率倾向。长片还要在这里写明分段方案(比如”共 3 段,每段约 10 秒”)。这一段看似废话,但画幅写错一次,整条片子的构图全废,返工成本最高的错误往往就出在这第一行。
第二段:人物
人物段只写”不会变的东西”:年龄段、发型发色、服装、体型、标志性特征。关键原则是用参考图锁定长相,用文字锁定状态——文字里不要反复描摹五官细节,那样反而容易和参考图打架。跨段复用时,人物段整段原样复制,一个字不改,这是保连贯最便宜的办法。
第三段:场景
场景段写环境、时间、光线、氛围。光线尤其要写死:同一场景第二段光线从”午后侧光”飘成”黄昏逆光”,观众立刻出戏。场景段和人物段一样,跨段原样复用,只改动真正发生变化的部分(比如人物走进了另一个房间)。
第四段:节拍时间轴
这是六段里最重要、也最容易被省略的一段。把时长切成小段,每段写清这一两秒内发生什么动作、镜头怎么动:
0-3s:人物推门走入,镜头固定在门口机位3-6s:人物走到窗边停下,镜头缓慢推近6-10s:人物回头看向镜头,微笑,画面定格感收尾没有节拍,模型会把十秒钟填满匀速的、无重点的运动;有了节拍,生成结果才有”剪辑感”。多段长片拆段时,也是按节拍表切段——每一段对应节拍表的一行或几行。
第五段:镜头语言
机位(固定/手持/轨道)、景别(特写/中景/全景)、运动方式(推/拉/摇/移)单独成段,不要混在动作描述里。把镜头语言独立出来有个好处:想换运镜时只改这一段,不会误伤人物和场景。
第六段:声音、对白与限制清单
最后一段收口,分三块:环境声与音乐要求;对白原文(逐字写出,标注语气,默认台湾腔国语,可按需改成其他口音或语言);以及限制清单——明确写出不要出现的东西:不要字幕水印、不要多余人物、不要镜头旋转、不要人物变形。限制清单不是凑数,实测里很多翻车都是因为该禁的没写。
一个完整可抄的示例
把六段拼起来,一条能直接用的提示词长这样:
10 秒,9:16 竖屏,单段成片。28 岁女性,黑色长发低马尾,米白色针织开衫、浅蓝牛仔裤,左手腕戴银色细手链。全程同一人、同一套服装。晴天午后,老城区临街咖啡馆外摆区,木桌藤椅,背景是虚化的行人与梧桐树影,阳光从画面左侧斜射,暖色调。0-3s:人物端着咖啡从画面右侧走入,在木桌旁坐下;3-6s:放下咖啡杯,抬头望向街道,头发被微风吹动;6-10s:人物转头看向镜头,微笑,轻轻点头。中景固定机位,轻微手持呼吸感,不推拉不旋转,人物始终位于画面中下部。环境声:街道远景人声、杯盘轻响、微风;无对白;背景音乐:轻柔的原声吉他,音量低。不要出现文字与水印;不要多余人物入镜特写;不要改变人物长相与服装;不要快速运动与镜头旋转。拿这个骨架对照自己以前写的提示词,差距通常出在节拍和限制两段——这两段恰恰是返工率最高的重灾区。
三个变体:POV、口播、多段长片
六段式是通用骨架,仓库里还给了三个针对高频拍法的变体,结构不变,侧重点不同:
| 变体 | 适用场景 | 与通用版的关键区别 |
|---|---|---|
| POV 生活流 | 第一人称日常、探店、旅行记录 | 人物段改为”只露手部与局部”,镜头段强调手持晃动与视线逻辑 |
| 口播 | 出镜讲解、知识短视频 | 节拍按文案句子切分,对白段逐句对齐时间轴,限制段禁字幕(字幕后期加) |
| 多段长片 | 30 秒以上的剧情或记录短片 | 每段独立六段式,靠节拍总表统一拆分,段间用快照接续(见下一节) |
选变体的原则很简单:拍法对上号就用变体,对不上就用通用骨架自己裁。不要为了用变体而扭曲内容,模板是为内容服务的。
多段拼接:把 10 秒拼成 30 秒以上
内置视频生成单段大约 10 秒就是硬上限,想做长片只有一条路:拆段生成、无损拼接。这套工作流的拆法是按节拍拆,不是按时长硬切:先写全片节拍总表,再在动作自然收束的节拍点上切段,每段独立写一份六段式提示词。
连贯性靠两个动作保住:
- 快照接续。 上一段生成完,截取它的尾帧(或关键帧)作为快照,下一段生成时以这张快照为起点参考——人物站位、光线、服装状态从上一段的终点接着走,而不是每段从零脑补。
- 复用段落。 人物段、场景段在各段之间整段复制,只改节拍段和发生变化的局部。改得越少,漂得越少。
拼接用 ffmpeg 无损合并(流复制,不重新编码),画质零损失,速度也快:
# 先生成片段清单,再无损拼接printf "file 'seg1.mp4'\nfile 'seg2.mp4'\nfile 'seg3.mp4'\n" > list.txtffmpeg -f concat -safe 0 -i list.txt -c copy final.mp4WARNING无损拼接的前提是各段的编码参数、分辨率、帧率完全一致。生成时把画幅和参数钉死在第一段里,就是为了让最后这一步能用
-c copy直接拼;参数不一致时 ffmpeg 会报错或拼出花屏,只能重编码,画质和时间都得搭进去。
仓库里的实测案例就是这么来的:一条 30 秒出头的旅行短片,9:16,按节拍拆成三段,逐段生成、快照接续、无损拼成成片——全过程沉淀在案例库里可查。
抽帧验证:生成完先别高兴,逐帧对账
这是这套技能和”写完提示词就完事”的教程最大的区别:每段生成完,自动抽帧核对。用仓库自带的脚本:
python bin/extract_frames.py <视频文件> <输出目录>脚本把视频按时间抽成一帧帧图片,然后逐项对账:提示词里写了的,哪些真的出现在画面里;没写的,哪些自己长出来了;人物和上一段比,脸、服装、发型漂了没有。对账结果要落成文字结论——哪段合格、哪段要重生成、重生成时改哪一句提示词。
这一步看着繁琐,实际是省钱的:偏差在单段阶段发现,成本是重抽一段;拖到成片阶段才发现,成本是整条重做。尤其是人物漂移,单段抽帧时两张图并排一比就现形,混在成片里反而容易被动作和剪辑掩盖过去。
案例库:每次实验沉淀一张卡
references/cases/ 是案例库,每次做片——不管成败——都沉淀一张案例卡,记录四件事:提示词要点、生成结果、偏差在哪、教训是什么。仓库里既有全链路跑通的正面案例(旅行短片:提示词 → 多段拼接 → 抽帧验证全程留档),也留着负面案例:一条三段的短片,三段用了三张不同的脸——快照接续没能锁住人物,这个失败被原样保留在库里,标注为能力上限的证据。
案例库的价值在复利:下次遇到类似拍法,先翻卡,知道哪句提示词有效、哪个坑踩过,不用每次从零试错。用得越久,这套技能越贴合你自己的题材和翻车史。
诚实边界:锁脸弱,就别硬吹
最后必须正式说一节它的短板,因为这套技能自己把短板写在了明处,这也是它值得信任的原因。
内置视频生成的锁脸能力是弱的。 用参考图做首帧或快照接续,能提高相似度,但不保证像本人:快照传递的是构图和状态,不是面部身份。前面提到的负面案例就是实证——三段拼完,三张脸。技能的态度是动手前先把边界说清,而不是拿话术包装过去。
所以适用与不适用要分清:
| 需求 | 建议 |
|---|---|
| 视频提示词实验、写法打磨 | 直接用,模板和验证闭环就是为此而生 |
| 短视频、多段拼长片(人物一致性要求一般) | 可以用,靠快照接续+段落复用把漂移压到可接受 |
| 强锁脸项目(本人出镜、品牌代言人、剧情主角全程不换脸) | 不要硬上内置生成,走 Seedance 等第三方视频模型,技能本身也会明确这样建议 |
把边界说在前面,不是劝退,是省得你在锁脸项目上烧掉一下午的生成次数才发现此路不通。这条诚实线和它背后的整套验证机制,恰恰是它区别于”万能提示词大全”的地方。
常见问题与排障
Q:装上技能后,助手没有按模板写提示词?
先确认目录放对了:技能目录要完整放进所用 Agent 的 skills 目录下(目录名就是 muse-video-prompt-skill,里面直接是 SKILL.md)。放错一层、或者只拷了单个文件,Agent 就加载不到。另外要在对话里明确提出视频需求,技能是按需触发的。
Q:抽帧脚本跑不起来?
extract_frames.py 依赖 ffmpeg,先在终端跑 ffmpeg -version 确认装了且在 PATH 里。视频路径带空格或中文时给路径加引号。还不行就手动抽一帧验证链路:ffmpeg -i seg1.mp4 -vf "select='eq(n\,0)'" -vframes 1 frame.png,能出图说明 ffmpeg 没问题,问题在脚本参数。
Q:多段拼接时 ffmpeg 报错或拼出来花屏?
基本都是各段参数不一致:分辨率、帧率、编码器只要有一项不同,-c copy 就拼不了。回生成环节把每段的画幅与参数对齐重生成问题段;实在对不齐,只能放弃无损拼接,用重编码方式合并(画质略有损失)。
Q:人物第二段就换脸了,怎么办? 先看抽帧对账:漂移出在人物段被改动、还是快照没接上。人物段必须跨段整段复制;快照要用上一段的尾帧而不是随便一帧。如果两样都做对了还是漂,那就是当前内置生成的锁脸上限——降低一致性要求(背影、侧脸、远景镜头绕开正脸特写),或者换第三方模型,这不是改提示词能解决的。
Q:对白口型对不上、口音不对? 对白段要逐字写全,含标点和语气标注,模型对”大概意思”式的对白描述还原度很差。口音默认是台湾腔国语,想换在对白段开头明确写明目标口音或语言,别只在聊天里口头说一句。
Q:提示词写得很全,模型还是漏要素? 把抽帧对账的结论喂回去:哪条没吃进去,就把那条从散文里拎出来,在对应段落里提前、加具体(比如把”微笑”改成”嘴角上扬、露出上排牙齿的微笑”)。一次只改一两处,改完重抽验证,别一口气重写整条提示词——那样你永远不知道哪句起的作用。更多通用的提示词方法论,可以看本系列的提示词工程实战。
Q:想做动画短片而不是实拍风短片,适合用这套吗? 可以借用它的模板与验证流程,但动画短片有角色设定表、故事圣经这类专属环节,本系列另有 Muse 动画短片全流程 一篇专门讲那套技能,分工更对口。
小结
muse-video-prompt-skill 的价值不在某条神奇提示词,而在它把 AI 视频制作变成了有章法的流程:六段式模板让提示词写得准,节拍拆段+快照接续+ffmpeg 无损拼接让长片拼得连贯,抽帧验证让偏差在单段阶段就暴露,案例库让经验沉淀复用。它同样把边界写在明处:内置生成锁脸弱,强锁脸需求请走第三方模型——先说清,再开工。
如果你正打算系统地做 AI 短视频,建议顺序是:先用本篇这套生成端闭环把单条片子做稳,再按需要往前接 muse-video-skill 的前期策划、往专精接动画短片流程。流程先行,抽卡靠后。