RL Post-Training in Diffusion Transformers Is Activation Steering 封面
HuggingFace
论文2026-11-1…

RL Post-Training in Diffusion Transformers Is Activation Steering

Reinforcement learning (RL) post-training substantially improves the visual quality, text rendering, and compositional accuracy of diffusion transformers. Because capabilities such as rendering requested text or composi…

来源:HuggingFace Papers收录于 2026年11月21日

站内导读

中文

定位 这是一篇关于扩散模型强化学习后训练的论文,探讨强化学习带来的画质与文字渲染提升,究竟能在多大程度上被一个与输入无关的简单偏移解释。

核心能力

  • 用固定转向向量加到冻结基座模型的模块输出上,模拟强化学习效果。
  • 在 SD3.5-M 上仅用 0.29M 参数,约为强化学习 LoRA 的六十五分之一。
  • 恢复了六个图像模型强化学习奖励增益的 90.0% 至 96.3%。
  • 在两个视频模型上分别恢复 89.8% 与 111.9% 的奖励增益。

适用人群 适合研究扩散模型后训练、图像与视频生成的研究者与工程师,尤其关注强化学习机制解释、模型压缩与高效微调方向的人,可从中获得新的分析视角。

注意 转向向量是在拟合公开强化学习检查点速度预测时得到的,目标中不含奖励;从零初始化并用在线强化学习训练时,它在文字渲染与人类偏好上超过了基于权重的强化学习,但这仍是特定模型上的实验结论。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →