生成基座
checkpoint、文本编码器和 VAE 定义主要模型族。它们必须作为一组核对，不能把针对某个基座训练的附加模型随意接到另一个基座上。
自我图书馆SELF LIBRARY持续整理中SHELF 04 / IMAGE & VIDEO · CONTROLLED GENERATION
图像与视频工作流
先分离控制，再组合结果。
图像和视频工作流的难点不在于把更多节点连到一起，而在于把结构、外观、时间与后处理分成能独立验证的条件层。ControlNet、预处理器、AnimateDiff 与原生视频模型各自解决不同问题，不能互相替代。
CONTROL 结构条件MOTION 时间条件LATENT 统一生成空间
01 / SPLIT THE VISUAL PROBLEM
一条视觉工作流，
至少要分清四类责任。
生成图里经常把“图像质量”归结为采样器或提示词，但可控结果来自多层协作：基础模型提供生成先验，文本或参考图提供语义与外观，预处理器和控制模型提供空间约束，后处理负责分辨率、编码和交付。把这些责任分开，才知道一次偏差发生在什么阶段。
条件与控制
文本条件、参考图、边缘、深度、姿态或掩码提供不同粒度的约束。它们不等价：有的约束构图，有的约束局部编辑，有的只影响外观。
采样与解码
采样器在潜空间中迭代更新，VAE 将潜变量转换为像素。固定种子与关键采样参数后，才能有条件地比较不同控制输入。
后处理与交付
放大、颜色处理、帧编码和文件命名应放在后段。这样主生成图可以保持最小，输出格式变化也不会干扰模型与控制验证。
02 / CONTROLNET IS SPATIAL GUIDANCE
ControlNet 解决的是
“生成什么位置、什么结构”。
ControlNet 最初由 Zhang、Rao 与 Agrawala 在论文《Adding Conditional Control to Text-to-Image Diffusion Models》中提出，用额外条件为预训练文生图扩散模型加入空间控制。原论文以锁定主模型、复用其编码能力并通过零初始化卷积逐步学习控制分支为核心设计。它不是提示词的替代品，而是把边缘、深度、姿态等结构信号引入生成过程。
01 / PREPROCESS
→提取结构信号
从参考图获得边缘、深度、姿态或法线等条件
02 / LOAD
→加载匹配控制模型
ControlNet 权重必须与目标基础模型族兼容
03 / APPLY
→更新 CONDITIONING
将控制作用到正向与负向条件链中
04 / SAMPLE
按区间影响去噪
用强度、开始与结束比例控制作用范围
预处理结果本身也是需要验证的输入。
ComfyUI 官方示例指出，不同 ControlNet 类型需要不同的参考图，核心节点并不内置全部预处理器。把深度、线稿或姿态提取做成独立小图，可以先确认“控制信号是否正确”，再接入完整生成图；这也便于调节 ControlNet strength、start percent 和 end percent，而不是把问题混在采样器里。
03 / VIDEO ADDS A TIME AXIS
视频不是逐帧出图，
而是要同时约束内容与时间。
图像工作流只需处理单个潜变量或批量图像；视频还需要处理帧间一致性、运动、镜头变化和编码输出。AnimateDiff 论文提出可插拔的运动模块，将可迁移的运动先验接入同一基座上的文生图模型；原生视频模型的工作流则有自己的扩散模型、文本编码器、VAE 与控制组件。两者的权重和节点要求不能假定可互换。
先确定视频基座
明确使用的是图像基座加运动模块，还是原生视频模型。先加载官方或模型作者提供的最小工作流，再扩展控制条件。
再约束时间
运动模块、首尾帧、参考视频、相机或姿态条件各自在不同位置约束时间维度。一次只加一种条件，观察它影响的是运动、主体还是构图。
最后控制资源
帧数、分辨率、批量和控制网络会共同放大显存占用。先以短片段验证，然后再增加长度与复杂度，并保留输入与输出的版本关联。
04 / A PRACTICAL DEBUG ORDER
先验证静态结构，
再验证运动与输出。
图像与视频图往往很长，但排错顺序可以保持简单。先确认基础模型能产出合理的静态结果；然后确认预处理器的结果；再单独接入控制或运动模块；最后检查放大、编码和文件导出。每一步都存一个可用检查点，复杂图就不会变成不可读的黑盒。
基础生成失败
回到 checkpoint、文本编码器、VAE、分辨率和采样器，先排除模型组件不匹配或潜变量尺寸错误。
控制无效或失真
查看预处理图、控制模型族、强度和作用时间范围；不要先假定“提示词写得不够详细”。
视频不稳定或资源不足
缩短片段并固定输入，分开测量运动条件、帧数和编码节点。先保证时间一致性，再追求更高尺寸或更长时长。
READING LIST / ORIGINAL SOURCES
ComfyUI ControlNet Usage Example↗ComfyUI Preprocessor Workflows↗Adding Conditional Control to Text-to-Image Diffusion Models · ControlNet↗AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning↗Wan2.2 Video Generation · ComfyUI Official Native Workflow↗
ComfyUI 的节点、工作流格式和模型支持会持续演进。本文只归纳对应资料可确认的机制；导入工作流前仍应核对 ComfyUI、节点包、模型权重与许可证的实际版本。