中文 用途:介绍一种在模型权重固定的前提下,衡量实体替换响应在英语事实性问题之间能迁移多少的评测方法,落点是隐藏状态变化,而不只是答案是否改变。 能做什么
- 固定权重、只替换提示中的实体,观察同一响应能否跨问题复用。
- 除答案是否变化外,还比较隐藏状态层面的差异。
- 把两个源问题上的隐藏状态变化叠加到目标问题上做检验。
- 对照实验限定在英语事实性问题,控制语言与题型变量。
适用场景:适合研究模型内部表示与提示敏感性的研究者,或需要判断回答稳定性的人;需能读取隐藏状态并具备该模型的推理权限。
日本語 用途:モデルの重みを固定した前提で、実体置換への応答が英語の事実質問の間でどれだけ移転するかを測る評価手法を紹介します。落としどころは、答えが変わったかどうかだけでなく、隠れ状態の変化です。 できること
- 重みを固定し、プロンプト中の実体だけを置き換えて、同じ応答が質問を越えて再利用できるか観察します。
- 答えの変化だけでなく、隠れ状態レベルでの差異も比較します。
- 2 つの元質問での隠れ状態の変化を、対象の質問に重ねて検証します。
- 対照実験は英語の事実質問に限定し、言語と問題形式の変数を統制します。
向いている場面:モデルの内部表現とプロンプト感度を研究する人や、回答の安定性を判断したい人に向きます。隠れ状態を読み取れることと、当該モデルへの推論アクセスが必要です。
한국어 용도: 모델 가중치를 고정한 전제에서 실체 교체 응답이 영어 사실 질문 사이에서 얼마나 이전되는지를 측정하는 평가 방법을 소개합니다. 초점은 답이 바뀌었는지가 아니라 은닉 상태의 변화입니다. 할 수 있는 것
- 가중치를 고정하고 프롬프트의 실체만 교체해 같은 응답이 질문을 넘어 재사용되는지 관찰합니다.
- 답의 변화뿐 아니라 은닉 상태 수준의 차이도 비교합니다.
- 두 원본 질문에서의 은닉 상태 변화를 대상 질문에 겹쳐 검증합니다.
- 대조 실험을 영어 사실 질문으로 한정해 언어와 문제 형식 변수를 통제합니다.
적용 장면: 모델 내부 표현과 프롬프트 민감도를 연구하는 연구자, 답변 안정성을 판단하려는 사람에게 적합합니다. 은닉 상태를 읽을 수 있어야 하고 해당 모델에 대한 추론 권한이 필요합니다.
English What it is: A measurement setup that, with model weights frozen, quantifies how much of an entity-replacement response carries over between English factual questions, tracking hidden-state change rather than only whether the answer flips. What you can do
- Hold weights fixed and swap only the entity in the prompt to test cross-prompt reuse.
- Compare hidden-state deltas instead of relying on final-answer changes alone.
- Add the hidden-state change from two source questions onto a target question.
- Keep the probe on English factual questions so language and task form stay constant.
Who it is for: Researchers working on internal representations and prompt sensitivity, or anyone checking answer stability;