Follow the Gradient: Tracing Safety Degradation Back to Training Data 封面
HuggingFace
论文2026-10-2…

Follow the Gradient: Tracing Safety Degradation Back to Training Data

Fine-tuning Large Language Models (LLMs) on instruction data can quietly erode their safety, even when no training example looks harmful. Because this safety-degrading data looks benign, standard content filters struggl…

来源:HuggingFace Papers收录于 2026年11月3日

站内导读

中文

用途:这条内容介绍一种用梯度追踪微调数据与安全退化之间关联的方法,帮助研究者和工程师定位哪些看似无害的训练样本在悄悄削弱模型的安全对齐。

能做什么

  • 指出指令微调即使不含明显有害样本,也会让模型安全性下降,常规内容过滤难以察觉。
  • 通过梯度信号把安全退化回溯到具体训练数据,而非只停留在整体评测指标层面。
  • 面向数据筛选环节,为清洗或重加权训练集提供可核对的依据。

适用场景:适合做 LLM 安全对齐、微调数据治理的研究人员与工程师,需要具备模型训练和梯度分析经验,并能访问训练数据与模型权重。

相关项目 · HuggingFace

查看全部「HuggingFace」项目 →