中文 定位:一篇大模型可解释性论文,逐层、逐模块地探查 Transformer 基础模型的内部表示,追问到底该探哪一层的表示。近年研究表明,只探最后一层这一惯例常常不是最优,中间层的特征在不少任务上反而更好。论文系统比较不同层与模块的表示质量,为探针实验该选哪部分表示提供依据。适用人群:研究模型可解释性、表示学习与探针方法的研究者。
日本語 位置づけ:大規模モデルの解釈可能性に関する論文で、Transformer 基盤モデルの内部表現を層ごと・モジュールごとに探査し、どの表現をプローブすべきかを問います。近年の研究では、最終層だけをプローブする慣行はしばしば最適ではなく、中間層の特徴のほうが多くのタスクで優れることが示されています。本論文は異なる層とモジュールの表現の質を体系的に比較し、プロービング実験でどの表現を選ぶべきかの根拠を提供します。対象:モデルの解釈可能性、表現学習、プロービング手法を研究する研究者。
한국어 정의: 대규모 모델 해석 가능성을 다룬 논문으로, Transformer 기반 모델의 내부 표현을 층별·모듈별로 탐침하며 어떤 표현을 탐침해야 하는지 묻습니다. 최근 연구에 따르면 마지막 층만 탐침하는 관행은 종종 최적 해법이 아니며, 중간 층의 특징이 여러 과제에서 오히려 더 나은 경우도 많습니다. 이 논문은 서로 다른 층과 모듈의 표현 품질을 체계적으로 비교해 탐침 실험에서 어떤 표현을 선택할지에 대한 근거를 제공합니다. 대상: 모델 해석 가능성, 표현 학습, 탐침 방법을 연구하는 연구자.
English What it is: A paper on interpretability that probes the internal representations of transformer-based foundation models layer by layer and module by module, asking which representation should be probed. Recent work shows that the standard practice of probing only the final layer is often suboptimal, as intermediate layers can provide better features. The paper systematically compares representations across layers and modules to guide that choice. Who it's for: Researchers working on model interpretability, representation learning, and probing methods.