arXiv · cs.AI · Wutong Xu, Yun Qu, Haiyan Feng, Qi Wang, Xiangyang Ji · 10 小时前模型评分33
大语言模型该遗忘什么:知识关联的强化学习遗忘方法 KARU
What Should LLMs Forget: Reinforcement Unlearning of Knowledge Associations
导读
研究者提出知识关联(KA,Knowledge Association)作为大语言模型遗忘的基本目标,并据此设计知识关联强化遗忘(KARU,Knowledge Association Reinforcement Unlearning)框架,通过 token 级奖励、分布级正则和邻近感知保留采样抑制应遗忘的知识关联。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “Based on KA, we propose Knowledge Association Reinforcement Unlearning (KARU), a unified reinforcement learning framework that suppresses forgotten knowledge associations while preserving retained ones.”
来源:arXiv · cs.AI · arxiv.org