Azuredusk
← ALL ARTICLES
AIGC与Agent管线8 MIN READ

视频曝光与关键帧融合

全库目录221
本文目录6

历史传播可能积累亮度漂移，左右关键帧也可能传播出冲突外观。本组示例使用同一镜头的渲染序列，第0、10帧为批准关键帧，角色在第3帧被柱子遮挡、第4帧重新显露。R是当前原始渲染色，D是以米计的正向视深度，ID是稳定对象标识，W是重投影历史色，M是有效历史二值遮罩；颜色在固定色调映射后的显示线性RGB域混合，交给模型前编码为sRGB。Q表示局部历史置信度，A_anchor表示连接批准关键帧的路径置信度，两者分别记录。逐帧候选由视频生成的逐步颜色约束产生；本页处理候选校正、置信更新与最终融合。

漂移估计与真实照明

本节用P表示视频生成的逐步颜色约束返回的最终output，包含末次像素投影；循环内部尚未投影的解码临时量不进入曝光统计。生成输出可能逐帧变亮，即使历史对应正确，下一帧仍会把这种漂移当作外观继续传播。统计使用线性亮度Y=0.2126R+0.7152G+0.0722B。只选M为一、离对象边界至少2像素、渲染亮度与该方向历史渲染的对应值相对差不超过10%、且W与当前输出P的亮度均为有限数并大于0.01的像素。渲染中存在闪光、灯光切换或材质变化的对象直接令M为零，也排除出曝光统计。

上述相对差取abs(Y_R_current-Y_R_history)/max(Y_R_history,0.01)；显示线性工作域的亮度无单位，0.01给暗部比较设置有限下限。反向传播使用其所消费的后一帧渲染作为历史，两个方向各自计算。

稳定区域的目标亮度取W，当前输出亮度取P。对每个合格像素计算log(Y_W/Y_P)，取中位数r，再令原始增益g*=exp(r)。中位数能抵抗少量局部生成错误，却不能抵抗整片材质真正改变；渲染事件与稳定性筛选正是为此提供依据。

将增益限制到[0.8,1.25]，再限制相对上一帧增益最多乘或除1.05，估计出的g只作用于稳定校正遮罩S覆盖的位置：P_corrected=P*(1+S*(g-1))。S在通过M且照明、材质稳定的对象内部取1；真实照明变化、显露区和对象边界取0。需要羽化时只在同一稳定对象内部向内衰减，不把增益扩到被排除对象。校正后将显示线性颜色截到[0,1]，记录饱和像素并从下一次漂移拟合中排除，避免裁剪后的亮度比误导增益。统计样本为空时本帧S全部为0，输出保持P；保留上一增益作为以后恢复统计时的限速状态，镜头切换则重置为1。

例如三处稳定亮度的W为0.2、0.4、0.6，P为0.1、0.2、0.3，三个比值都是2，原始增益2先被截到1.25，再从上一增益1限制到1.05。稳定区域输出只温和提亮，避免一次错误统计导致突变。如果画面另一对象的灯光真实翻倍，该对象同时从统计、历史复用与增益应用中排除，M与S均为零，新亮度由当前渲染初始图和条件生成。仅从统计排除却把g乘整帧，仍会改变该对象的真实亮度。局部照明变化没有可靠事件或渲染差异可识别时，保守把整个对象从M与S排除，保留当前生成结果并缩短关键帧间隔。颜色通道分开拟合会改变色相，因此这里只估计同一个亮度增益。

生成内容与几何记录

曝光校正后的图进入历史之前，还需检查生成内容有没有离开对应几何。将渲染对象轮廓与生成图中可识别的目标轮廓对照，若偏离超过镜头设定的2像素，将相关边缘带的Q置零；人物身份和语义细节由关键帧确认。自动识别不能可靠给出对象轮廓时，采用人工轮廓标注检查关键帧，并保守拒绝传播边缘带。深度ID来自渲染，只能证明几何表面对应，不能证明生成衣服花纹和轮廓都遵守了它。

历史保存最终颜色、原始R/D/ID/法线与当前变换、曝光增益及饱和遮罩、种子、模型修订号、帧号，以及Q。在生成M之前，先算q_candidate=当前对应置信度×重投影的历史Q；低于0.8时拒绝，否则接受。生成完成后，内容检查另产出二值V：轮廓越界等检查失败的位置V为0，其余位置为1。最后统一计算Q=V*(M*q_candidate+(1-M))。接受历史且内容有效时保留传播置信度，新生成且内容有效时取1，内容检查失败则始终为0。这样前述边缘带拒绝不会被“新生成重置为1”覆盖。

例如关键帧Q为1、每次对应置信度0.9，前两次Q分别为0.9和0.81，第三次候选为0.729，立即拒绝历史并由当前结构生成。Q表示相邻帧可否继续采用这份局部结果；新生成后Q可重置1，但它没有因此重新连接到批准关键帧。

锚点路径另存A_anchor：批准关键帧通过内容检查后取Q=A_anchor=1；接受历史且V为1时取A_anchor=重投影的前帧A_anchor×当前对应置信度；M为0后重新生成时A_anchor为0；V为0时Q和A_anchor均为0。只有再次人工批准成关键帧，才重新把A_anchor设为1。

例如一处表面因遮挡拒绝历史，重新生成后内容通过检查，状态为Q=1、A_anchor=0；下一帧对应置信0.9，局部复用后Q为0.9，A_anchor仍为0。它可以提供邻帧历史，却不能在关键帧双向融合时获得0.9的锚点权重。两路A_anchor都低于0.8便在后续融合时按M=0分支生成。历史记录同时保存Q、A_anchor、M/V分支和人工批准状态，避免恢复时把两个含义压成一个数。

关键帧与传播冲突

历史一帧帧插值会积累模糊，因此在镜头0、10帧设置已批准关键帧，分别向中间帧传播。第4帧对左关键帧距离4、右关键帧距离6；教学时间权重为0.6与0.4，再乘各路径的锚点置信度A_anchor；局部历史Q不参与这个权重。若左锚点置信度1、右0.8，未归一化权重为0.6和0.32，归一化后约为0.652与0.348；低于0.8门限的路径直接记零，不再参与混合。

先检查乘置信度后的权重和大于零，再执行归一化；某像素的总和为零表示该处没有可用锚点，将该像素标为待补区域，最终以当前R填入该处、M在该处置零后重新运行视频生成的逐步颜色约束中的条件去噪，不把已失去锚点来源的候选伪装成锚点传播；包括两路内容都失效的情况。

两份传播都属于同一对象、通过深度且外观差异较小时，可在线性颜色空间混合。某标量颜色为0.2与0.4，上述权重得到约0.270；只有左路通过门限时直接取0.2。若两份轮廓错位或角色细节不同，混合会产生双眼、双边界。此时按下面的对象级分数选择一路，另一份保留为诊断参考；两路都失效则用当前结构重新生成并安排人工确认。关键帧本身保持批准结果，不被传播结果覆盖。

冲突不能仅靠时间距离发现。本例用当前渲染ID界定同一个对象，并在二者共同有效区域计算各像素RGB最大绝对差。这里的ID来自同一份渲染，本身不能检测生成轮廓是否移动；轮廓差由各候选图的对象分割或人工标注得到。

共同有效区域为空时，两路之间没有可比较的外观证据，也按冲突选路。若超过0.15的像素多于该对象共同有效区域的10%，将该对象判为冲突；把每份候选对象轮廓转成边界像素集合，计算两集合之间的双向最近距离最大值，超过2像素也判冲突。没有可靠候选分割时，采用人工标注确认关键帧和冲突候选；自动流程将该对象标为待审核，不把两份相同的渲染ID轮廓当作生成内容相符的证据。

时间与置信度权重只在通过冲突判断后逐像素混合。冲突时，对当前对象全部像素求每一路有效锚点权重之和，再除以对象像素数，得到对象分数；无效位置贡献零，因此覆盖面积也参与选择。选择分数较大的一路，平分时固定选左路。选定方向的有效像素统一来自该路，缺口标为待补区域；另一方向不会在缺口里偷偷接入，避免眼睛和衣服细节来自两个冲突版本。

例如一个对象100个像素，左路60个有效像素、每个权重0.6，右路100个有效像素、每个权重0.4。分数分别为0.36与0.4，选择右路。只比较共同有效区域或单个像素的0.6与0.4，会忽略左路40个空洞。两路对象分数均为零时整对象标为待补区域。

所有对象完成混合或选路后，形成整帧候选F和待补遮罩U。U为零的位置已有选定颜色，U为一的位置用R初始化；统一调用视频生成的逐步颜色约束中的循环，令A=(1-U)*F+U*R、M=1-U、W=F，F在空洞的占位值先设为零，避免无效数进入乘法。

得到补洞图G以后，只取U覆盖的结果：final=(1-U)*F+U*G。这样全局网络可以读到上下文，已选定区域也不会因为补另一个对象的洞而再次变化。最终检查补洞边界、生成轮廓与身份，失败对象进入返工或人工审核；融合和补洞结果只写最终序列，不成为传播历史。真实光照变化也可能触发，因此这些镜头参数与输入一起保存。这里提供可执行选择规则，质量判断仍要观察动作与遮挡。镜头切换直接清空历史和传播路径。

实现与证据

链路数例和test_reference.py验证稳健增益、真实照明排除、内容拒绝、局部与锚点置信分离及双向融合门限；运行 python -B 知识库/examples/mechanism_chain/video/test_reference.py 可复现。局部选择样例还覆盖无有效锚点时拒绝选择。对象分割、真实补洞、人工审核和整段画质尚未运行，正文门限属于教学配置。

相关主题

参考资料

锚点置信、增益限速、对象选路与补洞遮罩是本页定义的教学规则，具体数例由所链CPU样例验证。