Probing Transformer Representations Layer by Layer, Module by Module 封面
HuggingFace
论文

Probing Transformer Representations Layer by Layer, Module by Module

Which representation should be probed in a transformer-based foundation model? Recent work shows that the standard practice of probing the final layer is often suboptimal, as intermediate layers can provide better featu…

来源:HuggingFace Papers收录于 2026年11月13日

站内导读

中文

定位:一篇大模型可解释性论文,逐层、逐模块地探查 Transformer 基础模型的内部表示,追问到底该探哪一层的表示。近年研究表明,只探最后一层这一惯例常常不是最优,中间层的特征在不少任务上反而更好。论文系统比较不同层与模块的表示质量,为探针实验该选哪部分表示提供依据。适用人群:研究模型可解释性、表示学习与探针方法的研究者。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →