中文 定位:一篇语言模型学习机制论文,证明通用训练进展可以替代被刻意扣留的专项数据,数据过滤只能延迟而非阻止能力习得。
核心能力
- 在国际象棋、黑白棋、分子字符串、括号语言与网页文本等多种技能上系统地做训练信号扣留实验并观察能力出现的延迟情况,还会记录后续补训阶段技能恢复速度的变化趋势与具体数据表现
- 发现大模型对被扣技能的延迟程度可由小模型的表现提前预测,说明能力延迟具有可外推的规律性特征
- 补训时仅需从零学习所需数据的一小部分即可快速习得该技能,且所需比例随模型整体进展不断下降
- 在 70 亿参数模型上扣留一门编程语言并复现同样规律,同时用同等难度的对照规则排除简单解释的干扰
适用人群:研究模型训练、安全过滤与能力涌现规律的 AI 研究者、模型治理人员以及关注训练数据政策效果的从业者。
日本語 位置づけ:言語モデルの学習の仕組みを調べた論文です。一般的な訓練の進歩が意図的に除外した専門データを代替し、フィルタリングは能力の獲得を遅らせるだけだと示しています。
主な機能
- チェスやオセロ、分子文字列、括弧言語、ウェブテキストなど複数の技能で訓練信号を除外する実験を体系的に行い、獲得の遅れを観察する
- 大きなモデルで除外した技能が遅れる度合いを小さなモデルの結果から事前に予測できることを示し、遅れに外挿可能な規則性があると論じる
- 追加訓練では最初から学ぶ場合に必要なデータのごく一部で技能を素早く獲得でき、必要量はモデル全体の進歩とともに減っていくことを示す
- 70億パラメータモデルでプログラミング言語を除外した場合でも同じ傾向を確認し、同程度の難しさの対照ルールで単純な説明を排除している
対象ユーザー:モデルの訓練や安全のためのフィルタリング、能力の創発を研究するAI研究者とガバナンス担当者、データ管理の効果を検証したい人に向いています。
한국어 정의: 언어 모델 학습 메커니즘을 다룬 논문으로, 일반적인 훈련 진전이 의도적으로 제외한 전문 데이터를 대체하며 필터링은 능력 습득을 지연시킬 뿐임을 보입니다.
핵심 기능
- 체스, 오셀로, 분자 문자열, 괄호 언어, 웹 텍스트 등 여러 기술에서 훈련 신호를 제외하는 실험을 체계적으로 수행하고 습득 지연을 관찰합니다
- 큰 모델에서 제외된 기술이 지연되는 정도를 작은 모델 결과로부터 미리 예측할 수 있음을 보이며 지연에 외삽 가능한 규칙성이 있다고 논합니다
- 추가 훈련 시 처음부터 배울 때 필요한 데이터의 아주 일부만으로 기술을 빠르게 습득할 수 있고 필요량은 모델 전체 진전에 따라 줄어듦을 확인합니다
- 70억 파라미터 모델에서 프로그래밍 언어를 제외한 경우에도 같은 경향을 재현하고 비슷한 난이도의 대조 규칙으로 단순한 설명을 배제합니다
대상 사용자: 모델 훈련, 안전 필터링, 능력 창발을 연구하는 AI 연구자와 거버넌스 담당자, 데이터 관리 효과를 검증하려는 사람에게 적합합니다.
English What it is: This paper studies whether withholding training data can keep language models from learning a capability that could be misused. It shows that general progress on the rest of the training data substitutes for the withheld data, so filtering delays a capability and the data needed to regain it shrinks as models improve.
Key capabilities
- Withholds the training signal for individual skills across chess, Othello, molecular strings, bracket languages, and web text, plus a programming language withheld from a 7-billion-parameter model
- Shows the delay of a withheld skill in larger models was predicted from smaller ones
- Demonstrates that a chess model never explicitly trained to respond to check still ranked legal responses almost as well as a trained model
- Finds that when withheld data is later provided, models acquire the skill with a small fraction of the data needed from initialization, unlike an equally difficult control rule learned much more slowly
Who it is for: AI researchers and governance practitioners concerned with training-data filtering, capability control, and emergence who need evidence on how long withholding data actually delays a skill and how cheaply it can return.