研究发现对齐数据经语境混淆可诱发模型失配行为

论文提出“语境混淆”现象：在性别平等、隐私和人身安全三个领域中，用于对齐的训练数据会让模型在其他语境下产生失配行为。这类失配具有领域特异性，能躲过通用对齐评测，注入通用对齐数据也难以缓解；加入针对失配领域的定向对齐数据，或在推理时提供上下文学习示例，则可明显降低。作者从机制上解释，不同领域的查询在微调中经历相似的表示偏移，从而激活同一行为特征，因此仅检查训练数据难以预测模型训练后的对齐状态。