先说问题:一个提示词框,装不下一整片
用视频模型做短片,最常见的姿势是把整片的想法——谁出场、镜头怎么走、哪句台词在什么时候说、画面里要出现什么字——一股脑塞进一个提示词框,然后点生成,剩下的交给运气。短片一长,这种做法立刻崩盘:
- 镜头顺序对不上。想要「先推近再拉远」,模型可能反过来,或者干脆全程一个景别到底。
- 台词和画面脱节。旁白说到第二句,画面还停在第一个场景,声画各走各的。
- 人物前后不一致。上一镜穿红外套,下一镜变蓝了,因为提示词里的人物描述被淹没在长文中间,模型没抓住。
- 改一处崩全片。想微调第二个镜头的运镜,只能改整段提示词重抽,前面已经对了的部分跟着一起变。
问题的根子不在模型不够聪明,而在输入方式不对:一整片本来就是有时间轴、有分工的结构化信息,硬压成一段散文,等于把分镜表揉成一团再扔给模型。ComfyUI-MiniMaxDirector 的思路是反过来:你在时间线上像导演一样排镜头,它负责把排好的结构编译成 H3 能精确执行的提示词。
项目地址:https://github.com/imbutus/ComfyUI-MiniMaxDirector
本篇主线:先讲清它为什么是「编译器」而不是关键帧工具 → 速查三个节点 → 装好节点与四个权重文件 → 在时间线上排一支短片 → 用主体卡片锁住一致性 → 避开帧格规则的坑 → 两个进阶开关与适用人群。ComfyUI 本身的安装与节点基础不在本篇展开,没接触过的先看 ComfyUI 绘图入门与节点工作流 补齐前置。
原理:为什么是「编译器」,不是关键帧注入
很多视频工作流的做法是「关键帧注入」:先生成几张关键帧图片,再让模型在帧与帧之间补运动。这条路对 H3 来说是绕远路,原因在它的文本编码器。
MiniMax H3 的文本编码器是一个 32B 参数的视觉语言模型。这个量级意味着它不是在「匹配关键词」,而是真的能读懂一份结构化的分镜表:哪个时间段发生什么、镜头怎么动、谁在说话、画面里有什么字,它都能逐项解析执行。所以面对 H3,真正要花功夫的不是造关键帧,而是把结构化提示词写对——格式对、顺序对、引用对,模型自己会把分镜表「演」出来。
ComfyUI-MiniMaxDirector 干的就是这件事,本质上是一个提示词编译器:
- 你在图形界面里拖分镜块、选运镜、挂主体卡片,这些是「源代码」;
- 它按 H3 能读懂的规范,把这些结构编译成最终提示词文本,这是「目标代码」;
- 编译规则写错的地方,它还有一道检查(下面的 Report 节点)提前拦下来。
它的灵感来源是 LTXDirector,两者形似而神不同:一句带过——LTXDirector 服务的是另一套模型与注入方式,这个插件则是完全围绕 H3「能读分镜表」这个特性重写的编译逻辑,不要把那边的经验原样搬过来。
理解了这一层,后面所有设计都有了解释:为什么要分镜块、为什么运镜要拆成三个维度选、为什么台词有固定写法——全都是在帮你把「源代码」写规范,让编译结果不跑偏。提示词为什么值得当代码来写,本系列在 提示词工程实战 里有完整的展开,两篇可以对照着看。
三个节点速查
插件一共提供三个节点,分工正好对应「写、看、查」三个动作:
| 节点 | 干什么 | 什么时候用 |
|---|---|---|
| Director | 时间线编辑器:排分镜块、设运镜、写台词、挂主体卡片,是全片的「源代码」入口 | 从头到尾都在用它编排 |
| Prompt | 实时预览编译出的最终提示词文本,所见即所得地检查编译结果 | 每次改完时间线扫一眼,确认文本没跑偏 |
| Report | 规则检查:按 H3 的规范校验当前编排,列出不合规项 | 生成前必跑,相当于编译前的 lint |
典型接法是 Director 的输出喂给 Prompt 预览、同时过一遍 Report 检查,两边都干净了再把提示词送进 H3 的生成链路。三个节点里 Director 是主战场,后面几节讲的全是它。
安装:节点 + 四个权重,缺一不可
安装分三步,要求 ComfyUI 0.31.0 以上,低于这个版本先升级本体,老版本加载这个插件会直接报错或行为异常。
第一步:把插件克隆进 custom_nodes
cd ComfyUI/custom_nodesgit clone https://github.com/imbutus/ComfyUI-MiniMaxDirector.git克隆完重启 ComfyUI,节点列表里能搜到 Director、Prompt、Report 三个节点,说明插件加载成功。
第二步:从 Comfy-Org/MiniMax-H3 下载四个权重文件
H3 的权重托管在 Comfy-Org 的 MiniMax-H3 仓库,一共要下四个文件,各回各的目录:
| 权重文件 | 放进的目录 | 说明 |
|---|---|---|
| 扩散模型(主模型) | models/diffusion_models/ | 生成的主体,体积最大 |
| 文本编码器 | models/text_encoders/ | 就是那个 32B 视觉语言模型,负责读分镜表 |
| 视频 VAE | models/vae/ | 管画面帧的编解码 |
| 音频 VAE | models/vae/ | 管声音的编解码 |
WARNING注意:视频 VAE 和音频 VAE 是两个不同的文件,这不是笔误。H3 是带声音的视频模型,画面和音频走两套独立的编解码,所以 VAE 要下两个、缺一不可。只下视频 VAE 的话,要么工作流直接报缺文件,要么生成出来没声音——这是新手最容易踩的坑,下完务必数一遍:四个文件,一个不能少。
第三步:打开自带示例工作流
插件仓库里自带示例工作流,第一次上手不要从空白画布搭,直接打开示例:它把 Director、Prompt、Report 与 H3 的加载、采样、解码节点都接好了,你只需要确认四个权重在各自的加载节点里被正确选中,能跑通一次生成,再开始改成自己的片子。示例跑不通就先别往下走,回到排障小节逐项对。
时间线实操:在块上排镜头
Director 的编辑器是一条时间线,你的片子被切成一个个分镜块,每块占一段时间、承载一个镜头。排片的基本动作就是:加块、拉长度、逐块填内容。每块要填的核心是三件事:
- 画面内容:这一镜里有什么、在发生什么,正常描述即可;
- 运镜:不要自己写散文式的运镜描述,用它给的运镜词汇选,见下;
- 声音:台词或画外音,按规范写法填,见下。
运镜词汇:运动类型 × 幅度 × 速度
运镜在编辑器里是三个维度的组合选择,而不是一个自由文本框:
| 维度 | 含义 | 典型选项的含义 |
|---|---|---|
| 运动类型 | 镜头怎么动 | 推、拉、摇、移、跟、固定等基本运动 |
| 幅度 | 动多少 | 小幅、中幅、大幅,决定画面变化的程度 |
| 速度 | 动多快 | 慢速、匀速、快速,决定节奏感 |
三段一组合,「慢速小幅推近」和「快速大幅拉远」就是两个完全不同的镜头,编译出的提示词也会把这三个维度写明确。比起在散文里写一句「镜头缓缓地推近一点」,这种选法的好处是可复现:同样的组合永远是同样的镜头语言,调参时也知道自己在改哪个维度。
台词与画外音:按规范写,别自由发挥
声音部分有固定写法,核心原则是把「谁在说」和「说什么」分开标清:
- 角色台词:标明说话人,再写台词内容,让模型知道这句话是画面里的人开口说的,口型和表演都会对着这个人走;
- 画外音/旁白:明确标注为画外音,与台词区分开,模型就不会给画面里的人物乱配口型;
- 一块里多人说话时逐句标清说话人,不要写成一段对话流让模型自己猜。
写法的细节以编辑器给出的格式为准,Report 节点也会检查这一块:说话人没标、台词和画外音混写,都会被它挑出来。
画内文字:逐字引用,一个字都别改
片子里如果有招牌、字幕牌、屏幕文字这类画内文字,在分镜块里要用引用方式把要出现的文字逐字写明。模型对画内文字是「照抄」逻辑:你引用什么,它渲染什么;你只写「一块写着店名的招牌」,它就自由发挥,出来的字大概率是错的或糊的。要上画的文字,逐字引用,这是唯一的可靠写法。
WHO & WHAT 主体卡片:一致性靠引用,不靠复述
长片最怕人物和物件前后变样。散文提示词的解法是每个镜头都把人物描述复述一遍,写得累,还总有几处写漏写岔。Director 的解法是 WHO & WHAT 主体卡片:
- 把每个反复出现的主体建一张卡:人物、服装、道具、场景都可以建卡,WHO 管「谁」,WHAT 管「什么东西」;
- 卡片建好后会有一个引用编号,在分镜块里点选插入引用,这个镜头里出现谁、穿什么、拿什么道具,点几下就挂好了;
- 不只是静态主体——动作和音色也能挂卡:某个角色的标志性动作、某个说话人的固定音色,同样建卡引用,保证多镜头之间动作习惯和声音人设不漂移。
这样每个镜头对主体的描述都来自同一张卡的同一次定义,编译时展开成完全一致的文本,一致性不再靠你复述得勤快,而是靠引用机制在结构上锁死。这套思路和 AI 视频创作里「先定角色卡再逐镜引用」的做法一脉相承,Muse Video 虚拟剧组 里对角色资产化的处理可以对照看。
代价是前期要花几分钟建卡,但片子越长越划算:三五个镜头的短打可以不建卡直接写,十几个镜头起步的片子,建卡省下的返工时间远超这几分钟。
帧格规则:length % 17 == 5,不用你手算
H3 在 24fps 下对片长帧数有一条硬规则:总帧数 length 必须满足 length % 17 == 5,即帧数除以 17 余 5。5、22、39、56……这些才是合法帧数,不满足这个数的片长,模型侧要么报错,要么输出异常。
好消息是这条规则不用你拿计算器守着:Director 编辑器会自动把片长吸附对齐到最近的合法帧数,你拖分镜块、改总时长时,它顺手就把总帧数修正到满足公式的位置。你要做的只有一件事:心里知道有这么条规则存在——当你发现总时长被「微调」了一点点,或者在插件之外手动改帧数参数后生成异常,先回来对这条公式,别往别处瞎查。
WARNING不要绕开编辑器去手改帧数。在采样或模型加载节点里直接改 length 而不满足
% 17 == 5,是生成失败里最隐蔽的一种:参数看起来只差几帧,实际已经踩出合法集合。改片长一律回 Director 里拖,让吸附对齐替你守规矩。
两个开关:默认关着,各有各的用途
Director 侧带两个可选开关,默认都是关闭状态,理解了再开:
| 开关 | 作用 | 什么时候开 |
|---|---|---|
| Turbo | 挂四步蒸馏 LoRA,用极少的采样步数快速出片 | 排完时间线先看草稿:镜头顺序、运镜、台词对位对不对,用它低成本验一遍 |
| Upscale | 二阶段放大:按百万像素预算把成片分辨率往上抬 | 草稿确认无误、要出正式版时再开,走完整步数生成加放大 |
推荐的工作节奏是:Turbo 出草稿 → 在草稿上改分镜、改运镜、改台词 → 定稿后关 Turbo、开 Upscale 出正式版。不要拿 Turbo 的草稿画质当最终质量下结论,四步蒸馏本来就是拿画质换速度的,草稿糊是正常的,它只负责让你确认「结构对不对」。反过来,结构还没定就开着 Upscale 反复重出,是纯粹烧时间和显存,放大阶段的成本比基础生成高得多。
常见问题与排障
Q:插件节点搜不到,或加载时报错。
先查 ComfyUI 版本,低于 0.31.0 先升级本体再重启;版本没问题再看启动日志里 custom_nodes 的加载报错,确认克隆目录完整、没有套娃出双层文件夹(custom_nodes/ComfyUI-MiniMaxDirector/ComfyUI-MiniMaxDirector/ 这种)。
Q:工作流报缺权重文件,或者生成出来没声音。 数文件:扩散模型、文本编码器、视频 VAE、音频 VAE 四个齐不齐,各自目录对不对。没声音十有八九是音频 VAE 没下或没在节点里选上——两个 VAE 是两个文件,再强调一遍。
Q:生成直接失败,参数只动过片长。
对帧格规则:24fps 下总帧数要满足 length % 17 == 5。是不是绕开 Director 手改过 length?改回去,在编辑器里拖时长让它自动吸附。
Q:镜头顺序、运镜和排的不一样。 先过 Report 节点看有没有规则项没过;再开 Prompt 节点读一遍编译出的最终提示词,确认分镜块的顺序和运镜三维度(类型、幅度、速度)编译得对不对。问题大多出在块排错了顺序或运镜只选了类型没选幅度和速度,模型只能自己脑补缺失维度。
Q:台词对不上口型,或者旁白被画面里的人「说」了出来。 台词与画外音的写法混了:台词要标清说话人,画外音要明确标为画外音。逐块检查声音部分的写法,改完再跑一遍 Report。
Q:人物跨镜头变脸、换衣服,道具一会儿有一会儿没。 没建主体卡片、靠每镜复述描述的典型症状。把人物、服装、关键道具都建成 WHO & WHAT 卡片,各镜点选引用编号插入,动作和音色常复现的也挂卡。
Q:画内文字是错字、糊字。 画内文字没有逐字引用。把要上画的文字在分镜块里逐字引用写明,不要只描述「有一块招牌」。
Q:Turbo 草稿画质差,是不是模型不行? 不是。四步蒸馏 LoRA 的定位就是快速草稿,糊是预期内的。用它确认结构,定稿后关掉 Turbo 走完整生成,画质问题大概率自动消失。
Q:显存爆了。 H3 加 32B 文本编码器本身就吃显存,先关 Upscale 降回基础分辨率出片,确认流程没问题再谈放大;Turbo 模式步数少,也能缓解一部分压力。
适合谁
- 在用 ComfyUI 做 H3 短片、且片子已经长到「一段提示词管不住」的人:多镜头、带台词、要画内文字、人物跨镜复现,这四个特征占得越多,这个插件的收益越大。
- 习惯先搭结构再抠细节的创作者:它的工作方式就是导演式的——先排时间线和分镜,草稿验结构,定稿出成片,和 AI 视频提示词工作流 里「先结构后生成」的节奏天然合拍。
- 只做单镜头、一句话出片的轻量玩法:用不上,分镜块和主体卡片的前期成本收不回来,原生提示词框就够了。
小结
ComfyUI-MiniMaxDirector 的价值,一句话:**它把「写提示词」升级成了「排片子」。**H3 的 32B 文本编码器本来就读得懂分镜表,这个插件做的,就是给你一套把分镜表写对的工具——时间线分镜块是骨架,运动类型×幅度×速度的运镜词汇是镜头语言,台词与画内文字的规范写法是细节纪律,WHO & WHAT 主体卡片锁一致性,length % 17 == 5 的帧格吸附替你守住模型侧的硬规则,Turbo 与 Upscale 则把「验结构」和「出成片」分成两个成本档位。
用它的正确姿势是导演的姿势:先排、先验、先改结构,最后才花大成本出片。把运气的部分压到最低,把可控的部分全部攥在自己手里——这就是给模型当导演的意思。