生成条件控制 — Wu Chenfeng

提示词能描述“抬起左手”，却很难把每个关节固定在指定像素。结构图提供位置约束，参考图提供外观特征，它们通过不同路径影响去噪网络。先追踪这两份输入进入哪一层，再调整强度，才能区分输入错误与条件竞争。

结构图与ControlNet

给定一张姿态参考图，预处理器先提取关节点和连接，再按控制模型训练时的格式编码为控制图。深度、法线和边缘也有各自训练语义。控制图即使尺寸正确，Canny边缘仍不等于深度：相同的亮线对前者表示边界，对后者可能表示一片近或远表面。把它接到深度分支，接口可以运行，空间条件却已经错误。

ControlNet保留冻结的基础网络，并训练一条条件分支。分支读取含噪特征、时间和结构条件，通过零初始化卷积把残差加回对应网络层。训练开始时卷积输出为零，基础网络结果得到保留；训练逐渐学到非零残差以后，结构图才改变各层特征。残差加法要求空间尺寸与通道匹配，因而适配器必须与基础架构兼容。

text

基础特征 h ────────────────────→ h + weight * residual
含噪特征、时间、控制图 → 可训练分支 → 零卷积 → residual

这是层级机制示意，实际网络包含多层注入。设某个简化特征分量h为2，分支残差为-0.4，权重0.5时结果为1.8，权重2时为1.2。权重放大的是学出的残差，并不验证残差表达的姿态是否正确。左右关节镜像、法线轴反向或深度范围反转时，增加权重可能更强地重复输入错误。

控制窗口还规定哪些噪声阶段启用残差。采样步数改变后，同一“第10步”对应的噪声等级可能不同；按比例记录窗口也仍需锁定调度器。调试先显示预处理图，再固定模型、种子和调度器，单独改变窗口与权重，才知道变化来自哪里。

结构图指定“在哪里”，参考图还可能希望保留衣服、色彩与身份。IP-Adapter把图像编码为特征，并使用与文本分开的交叉注意力分支。相同查询Q分别与文本、图像的键和值计算注意力，再组合输出：

$H=\operatorname{softmax}(QK_t^T/\sqrt d)V_t+w\operatorname{softmax}(QK_i^T/\sqrt d)V_i$

这里t、i表示文本与图像，d为注意力键的维度，w为图像分支强度。两次softmax分别归一化各自来源，不能把两份特征简单拼接后假定语义相同。查询来自当前生成特征，因此图像参考仍通过网络表示影响结果，并不等于逐像素复制。

如果文本要求红衣、参考图主要是蓝衣，两条分支可能同时推动不同外观。提高参考权重可能保留蓝衣而削弱文本可编辑性；再叠加角色LoRA，还会增加另一份权重偏好。没有一组强度能对所有参考自动消除冲突，必须先决定哪些特征应保持、哪些应改变。

先建立只有文本的固定种子基线，再加入结构控制，检查关节与轮廓；随后加入参考图，检查外观是否符合目标。若加结构后位置错误，先检查原图、裁剪和预处理，不急着调图像参考；若结构稳定但服装无法改变，再单独降低图像分支或适配器。每个对照只改变一条路径，失败才有可定位的来源。

输入清单保存原图与预处理图哈希、尺寸与裁剪、值域与坐标轴、匹配模型版本、权重和活动窗口。生成结果连同全部种子保留，按结构跟随、身份保持和文本可编辑性分别判断。参考图来源与使用授权随清单记录。

本页展开零残差与解耦注意力的机制，未实现完整网络或执行模型消融。ControlNet第3.1节与IP-Adapter第3.2.2节支持相应分支；特定基础模型、预处理与强度组合仍需锁定权重进行实际生成验证。数值残差例只是线性加法示意，不预测真实图像变化幅度。