Restoring Diversity in Distilled Image and Video Generators by Probing Activations 封面
HuggingFace
论文

Restoring Diversity in Distilled Image and Video Generators by Probing Activations

Distilling diffusion models into few-step student models substantially reduces sampling latency, but induces severe diversity collapse: samples generated from different random seeds show minimal variation. In this work,…

来源:HuggingFace Papers收录于 2026年11月17日

站内导读

中文

定位:解决蒸馏后的少步扩散模型「多样性崩塌」问题的方法。把扩散模型蒸馏成少步学生模型能大幅降低采样延迟,但不同随机种子生成的样本几乎没有差别。

核心能力:通过探测学生模型与教师模型的内部表征找到根因:总激活方差与教师相当,却集中在更少的方向上,且集中在初始去噪步骤的某个中间层。ReDiverse 由此提出两条修复路径:训练时用 ReDiverse-FT 微调一个轻量适配器,把学生激活回归到教师的特征方差特性;推理时用 ReDiverse-TF 沿预先算好的教师主方向做无训练的激活引导。在图像与视频蒸馏基准上,多样性得到恢复且生成质量得以保持,用户研究也支持这一结论。

适用人群:做扩散模型蒸馏、少步采样与生成多样性的研究者,以及在生产中使用蒸馏模型需要兼顾多样性的工程师。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →