LoRA训练 — Wu Chenfeng

少量角色图可以教会模型身份，也可能把背景和姿势一起记住。LoRA固定基础权重，学习低秩增量；训练数据和图像描述先区分目标与可变因素，验证集再检查未见视角与组合条件。

低秩适配与训练数据

LoRA

Low-Rank Adaptation（LoRA）把权重增量近似为低秩分解：

W'=W+\lambda BA

$A/B$ 的秩远小于原矩阵维度，训练和文件规模较小。训练常冻结基础权重，只优化低秩增量。推理时可以合并增量，也可以在前向计算中应用适配器；式中的 $\lambda$ 合并了所采用的 alpha/r缩放与用户强度约定。

LoRA 可学习角色、服装、材质、物体或风格，但结果受数据和图像描述强烈影响。它不能弥补来源混乱、构图单一和错误标注。

LoRA 数据

先定义目标概念和非目标因素。数据应：

有明确授权和来源；
覆盖希望泛化的视角、光照和背景；
避免所有图片同一姿势/构图；
去除水印、重复、低质量和错误样本；
记录裁剪与缩放/图像描述处理；
划分训练与固定验证集。

若所有角色图都在白背景，LoRA 可能把白背景当概念一部分。若图像描述没区分服装和角色，特征也会纠缠。

图像描述与标签

图像描述记录内容与可变因素；触发词指向目标概念。是否标注某个特征取决于希望模型把它当可控变量还是概念固有部分。

自动图像描述可生成初稿，但要人工检查身份、颜色、数量和构图。错误图像描述会稳定地教给模型错误关系。

标签顺序、打乱、随机丢弃和自然语言/标签风格与训练脚本相关，应锁定配置并做对照实验。

训练与过拟合

训练配置先固定基础模型、分辨率和数据分桶，再确定适配秩r、缩放参数alpha、学习率、批量与优化器。训练步数和是否更新文本编码器也需记录，方便区分数据变化与参数变化的影响。

过拟合表现：

构图和背景重复；
提示词难以改变姿势/服装；
训练图细节被直接复现；
高权重才像，降低权重就失去概念；
与其他 LoRA/控制组合崩坏。

不能只看训练损失。用固定提示词矩阵比较不同检查点和权重，检查相似度、可控性、泛化和副作用。

资产化

模型与适配器应像资产管理：

模型ID、文件哈希、许可/来源；
兼容基础模型与架构；
训练集清单；
配置、脚本与库版本；
触发词与建议权重；
验证图表；
已知失效/使用限制；
负责人、审核、退役状态。

来源不明的模型/LoRA 不进入正式生产。文件名写“final_v2”无法替代版本和血缘。

基线评估

模型评估不能只挑最好看的图。建立提示词矩阵，覆盖：

角色/物体身份；
正侧背与远近景；
不同光照、背景、材质；
手部、文字、重复结构等高风险内容；
与 ControlNet/IP-Adapter/多个 LoRA 的组合；
项目禁止内容和来源风险。

保存全部种子，而不是只保存成功样本。统计失败类型、人工选择率和精修时间，才能判断新模型/LoRA 是否真的提高生产效率。

自动指标可衡量图文、参考相似度或结构误差，但不能独立决定资产质量。最终评估同时看提示词可控性、跨种子稳定性、与管线兼容、许可和人工返工。

数据与隐私

训练、参考图和提示词可能包含未公开角色、项目截图或个人数据。外部 API 前应经过数据分类和批准，明确服务是否保存输入、用于训练、部署区域和删除策略。

日志与样例图同样需要访问控制。为了复现保存完整提示词，不代表它可以进入公开报告。

低秩增量

数学机制伪代码中W为冻结基础矩阵，A、B维数使BA与W相同，scale匹配训练时的alpha/r缩放及用户强度。

text

output = W*x + scale*B*(A*x)
train A,B on authorized data
validate held-out prompts, views and conditions

矩阵维数与训练更新

设基础权重W形状为d×k，输入x为k维，选择秩r后，A为r×k，B为d×r。可训练参数量是r(k+d)，而全量矩阵是dk。训练时冻结W，只让损失通过B(Ax)更新A与B；减少的是可训练权重与相关优化器状态，基础权重和前向激活仍需要内存。取d=k=1024、r=8，完整权重有1048576个参数，适配器只有16384个。前向先把1024维x映到8维，再映回1024维，与基础输出相加；它能表达的单层增量秩最多8。增加数据不能让这层固定秩增量表达任意满秩变化，这也是秩限制的具体含义。

原始LoRA使用随机初始化A、零初始化B，使初始增量为零。对本页的纯线性增量BA，令损失对增量矩阵的梯度为G，则dL/dA=BᵀG、dL/dB=GAᵀ。A与B同时为零时，两份梯度都为零，单靠这条损失路径的梯度更新无法启动学习；随机A与零B则允许B先得到梯度。原论文使用alpha/r缩放，工具的训练缩放和推理用户强度分别记录，导出和合并时使用同一约定。

一次扩散LoRA训练步骤是：读取图像和描述，编码图像潜变量，采样噪声与时间，构造含噪输入，计算条件预测与目标的误差，反向传播到选定适配层，再由优化器更新。验证集按角色、镜头或来源组划分，避免同一原图的裁剪版本同时进入训练和验证，造成虚假的泛化表现。

验证方法

保存训练配置、数据清单与检查点，比较固定提示词/种子矩阵，不按单张最好结果选模型。检查身份、背景纠缠、其他LoRA组合和低权重表现，许可与敏感数据独立记录。

实现与证据

LoRA矩阵与初始化依据原论文第4.1节；扩散训练流程为应用推导。未训练适配器、读取私有训练集或生成验证网格，效果与显存收益需实际记录。

参考资料

LoRA：第4.1节低秩更新、参数与初始化；2026-10-22核读。
DDPM：Algorithm 1的噪声训练目标。