arXiv · cs.AI · Yi Chen, Hanna Hsieh, Shuhong Liu, Chuanbo Hua, Zihan Ma, Kun Wang, Joo-Young Kim · 11 小时前模型评分36
距离不够:遗忘-保留对齐差距可预测 大语言模型(LLM,Large Language Model) 重学习鲁棒性
Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness
导读
研究提出免训练的遗忘-保留对齐差距(FRAG,Forget-Retain Alignment Gap)指标,无需执行重学习攻击即可预测大语言模型(LLM,Large Language Model)的遗忘鲁棒性,比全局权重距离更可靠地区分选择性更新与密集更新。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “We introduce the Forget-Retain Alignment Gap (FRAG), a training-free predictor that scores an update's forget-retain alignment without running a relearning attack, and separates selective from dense updates more reliably than global distance.”
- “Code is available at this https URL .”
来源:arXiv · cs.AI · arxiv.org