General progress substitutes for specific training data in language models 封面
HuggingFace
论文2026-11-1…

General progress substitutes for specific training data in language models

Language models acquire their capabilities from training data, and developers withhold data during training to keep models from learning capabilities that could be misused. How long this delays a capability, and how muc…

来源:HuggingFace Papers收录于 2026年11月20日

站内导读

中文

定位:一篇语言模型学习机制论文,证明通用训练进展可以替代被刻意扣留的专项数据,数据过滤只能延迟而非阻止能力习得。

核心能力

  • 在国际象棋、黑白棋、分子字符串、括号语言与网页文本等多种技能上系统地做训练信号扣留实验并观察能力出现的延迟情况,还会记录后续补训阶段技能恢复速度的变化趋势与具体数据表现
  • 发现大模型对被扣技能的延迟程度可由小模型的表现提前预测,说明能力延迟具有可外推的规律性特征
  • 补训时仅需从零学习所需数据的一小部分即可快速习得该技能,且所需比例随模型整体进展不断下降
  • 在 70 亿参数模型上扣留一门编程语言并复现同样规律,同时用同等难度的对照规则排除简单解释的干扰

适用人群:研究模型训练、安全过滤与能力涌现规律的 AI 研究者、模型治理人员以及关注训练数据政策效果的从业者。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →