Multi-layer Indexer: Overlapping Selection and Attention in DeepSeek Sparse Attention 封面
HuggingFace
论文2026-11-0…

Multi-layer Indexer: Overlapping Selection and Attention in DeepSeek Sparse Attention

Sparse attention cuts the cost of long-context inference by making the attention matrix sparse: each query attends only a subset of the sequence, chosen by a fixed pattern or, in recent production LLMs, learned per quer…

来源:HuggingFace Papers收录于 2026年11月6日

站内导读

中文

定位:一篇围绕 DeepSeek 稀疏注意力(DSA)的论文,讨论其索引器中选择与注意力的重叠设计。稀疏注意力让每个查询只关注序列的一个子集,从而降低长上下文推理的成本;子集可以由固定模式决定,也可以在近年的生产级大模型中按查询学习得到。论文聚焦多层索引器,分析如何让候选选择与注意力计算更好地重叠配合。适用人群:研究大模型推理优化、注意力机制与长上下文技术的研究者和工程师。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →