辅助轨迹偏好能否提升小模型自我改进

Minju Gwak 与 Alan Ritter 发布论文，考察在有限监督下，辅助轨迹偏好能否提升小语言模型的自我改进与迁移能力。研究比较两类奖励：基于置信度的 SC，以及基于熵的 UID-Conj.（结合全局熵变化与局部平滑度）。 实验设置上，在线实验让 Qwen3-1.7B 在 30 道无参考答案的 AIME 题上自适应，离线实验使用历史 AIME 题目。作者称效果因任务而异：SC 奖励衡量的是所评判的轨迹质量与指令遵循，而 UID-Conj. 奖励在若干设置下带来更强的训练结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。