研究揭示在线策略蒸馏削弱证据响应并提出EP-OPD

Ruoran Xu等作者发现，在线策略蒸馏（OPD）虽然能提升学生模型的答案准确率，却会削弱模型对支撑证据的响应，即“证据绕过”。在QASPER数据集上，Qwen3-4B学生模型的原始文档准确率提高3.4个百分点，但反事实准确率下降5.3个百分点，证据绕过增加15.7个百分点。 为此，作者提出EP-OPD方法：对支持同一问题不同答案的成对文档进行在线策略监督，并加入答案级间隔，使模型更偏向每份文档所支持的答案，而非与之配对的替代答案。作者称代码已公开。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。