跳到正文
arXiv · cs.AI · Yi Chen, Hanna Hsieh, Shuhong Liu, Chuanbo Hua, Zihan Ma, Kun Wang, Joo-Young Kim · 11 小时前模型评分36

距离不够:遗忘-保留对齐差距可预测 大语言模型(LLM,Large Language Model) 重学习鲁棒性

Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness

导读

研究提出免训练的遗忘-保留对齐差距(FRAG,Forget-Retain Alignment Gap)指标,无需执行重学习攻击即可预测大语言模型(LLM,Large Language Model)的遗忘鲁棒性,比全局权重距离更可靠地区分选择性更新与密集更新。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We introduce the Forget-Retain Alignment Gap (FRAG), a training-free predictor that scores an update's forget-retain alignment without running a relearning attack, and separates selective from dense updates more reliably than global distance.”
  • “Code is available at this https URL .”

来源:arXiv · cs.AI · arxiv.org