中文 定位:解决蒸馏后的少步扩散模型「多样性崩塌」问题的方法。把扩散模型蒸馏成少步学生模型能大幅降低采样延迟,但不同随机种子生成的样本几乎没有差别。
核心能力:通过探测学生模型与教师模型的内部表征找到根因:总激活方差与教师相当,却集中在更少的方向上,且集中在初始去噪步骤的某个中间层。ReDiverse 由此提出两条修复路径:训练时用 ReDiverse-FT 微调一个轻量适配器,把学生激活回归到教师的特征方差特性;推理时用 ReDiverse-TF 沿预先算好的教师主方向做无训练的激活引导。在图像与视频蒸馏基准上,多样性得到恢复且生成质量得以保持,用户研究也支持这一结论。
适用人群:做扩散模型蒸馏、少步采样与生成多样性的研究者,以及在生产中使用蒸馏模型需要兼顾多样性的工程师。
日本語 位置づけ:蒸留後の少数ステップ拡散モデルに起きる「多様性の崩壊」を解消する手法。拡散モデルを少数ステップの生徒モデルに蒸留するとサンプリングは大幅に速くなりますが、異なる乱数シードから生成されるサンプルがほとんど変わらなくなります。
主な機能:生徒モデルと教師モデルの内部表現を調べることで原因を特定しました。活性化の分散の総量は教師と同等なのに、方向が大幅に少なく集中し、しかも初期のノイズ除去ステップのある中間ブロックに局在していたのです。ReDiverse は二つの修復方法を示します。学習時は軽量アダプタを微調整する ReDiverse-FT で生徒の活性化を教師の特徴分散特性に回帰させ、推論時は事前に計算した教師の主方向に沿って活性化を導く訓練不要の ReDiverse-TF を使います。画像と動画の蒸留ベンチマークで多様性が回復し、生成品質も保たれ、ユーザースタディでも裏付けられています。
向いている人:拡散モデルの蒸留、少数ステップサンプリング、生成の多様性を研究する人、蒸留モデルを実運用しながら多様性も保ちたいエンジニア。
한국어 정의: 증류된 소수 스텝 확산 모델에서 나타나는 "다양성 붕괴"를 해결하는 방법입니다. 확산 모델을 소수 스텝 학생 모델로 증류하면 샘플링이 훨씬 빨라지지만, 서로 다른 난수 시드에서 생성된 샘플이 거의 달라지지 않습니다.
핵심 기능: 학생 모델과 교사 모델의 내부 표현을 살펴본 결과 원인이 밝혀졌습니다. 활성화 분산의 총량은 교사와 비슷하지만 훨씬 적은 방향에 집중돼 있었고, 초기 노이즈 제거 단계의 특정 중간 블록에 국한돼 있었습니다. ReDiverse는 두 가지 복원 방식을 제시합니다. 학습 시에는 경량 어댑터를 미세 조정하는 ReDiverse-FT로 학생 활성화를 교사의 특징 분산 특성으로 회귀시키고, 추론 시에는 미리 계산한 교사 주방향을 따라 활성화를 이끄는 학습 없는 ReDiverse-TF를 사용합니다. 이미지와 비디오 증류 벤치마크에서 다양성이 회복되면서 생성 품질도 유지됐고, 사용자 연구도 이를 뒷받침합니다.
추천 대상: 확산 모델 증류, 소수 스텝 샘플링, 생성 다양성을 연구하는 사람과 증류 모델을 실제 서비스에서 쓰면서 다양성도 지키려는 엔지니어.
English What it is: A method for fixing the "diversity collapse" of distilled few-step diffusion models. Distilling a diffusion model into a few-step student model greatly reduces sampling latency, but samples from different random seeds then show minimal variation.
Highlights: Probing the internal representations of student models against their teachers locates the root cause: total activation variance is comparable to the teacher's, but concentrated into substantially fewer directions, localized to an identifiable intermediate block at the initial denoising step. ReDiverse offers two fixes: ReDiverse-FT fine-tunes a lightweight adapter at training time to regress student activations onto the teacher's feature-variance characteristic, and ReDiverse-TF steers activations along precomputed teacher principal directions at inference time with no training. Across image and video distillation benchmarks, sample diversity is restored while generation quality is preserved, supported by a user study.
Who it's for: Researchers in diffusion-model distillation, few-step sampling, and generative diversity, and engineers who run distilled models in production and need variety as well as speed.