D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding 封面
HuggingFace
论文2026-11-0…

D3D: Decoupled Diffusion Drafting for Asynchronous Speculative Decoding

Target-conditioned diffusion drafters predict candidate tokens in parallel, yet each new block must wait for updated target-model hidden states. This forces drafting and verification to run sequentially, limiting speedu…

来源:HuggingFace Papers收录于 2026年11月6日

站内导读

中文

定位:一篇优化投机解码的论文 D3D,将扩散草稿模型的起草过程与目标模型的验证解耦,实现异步并行,以突破串行执行的加速上限。

核心内容:目标条件扩散草稿器可以并行预测候选 token,但每个新块必须等待目标模型更新后的隐藏状态,迫使起草与验证只能顺序进行,限制了加速效果。D3D 通过解耦扩散起草(Decoupled Diffusion Drafting),让起草与验证异步推进,从而进一步释放投机解码的加速潜力。

适用人群:研究 LLM 推理加速、投机解码与扩散语言模型的研究者。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →