arXiv · cs.AI · Yuhan Huang, Huanran Chen, Yinpeng Dong · 6 小时前模型评分47
大语言模型微调中的对齐动态：统一框架解释对齐为何脆弱
Alignment Dynamics in LLM Fine-Tuning
导读
一项 arXiv 研究提出可计算的对齐分数并推导其在微调中的闭式更新，将对齐变化分解为“回弹力”与“驱动力”两个竞争分量，解释先前对齐为何会被后续微调逆转、且分布越窄逆转越强。该框架还预测“排练启动效应”：此前的对齐会留下潜在后验印记，使模型再次接触相关数据时更快重新对齐，并在安全对齐、涌现性失配和情感设置中得到验证。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this work, we introduce a tractable alignment score and derive its closed-form update during fine-tuning, yielding a unified framework for alignment dynamics.”
来源：arXiv · cs.AI · arxiv.org