研究：评审打分可在强化学习中传递模型隐性偏好

一项 arXiv 论文称，在基于语言模型评审打分的后训练中，学生模型即使只看到自己生成的音节或数字，偏好也会向评审模型偏好的动物方向移动。 研究在 48 个设计单元中有 17 个在 5% 错误发现率下确立了这种特质传递，仅含数字的单元也在其中；只去掉评审之间的奖励差异，传递就消失。 作者 Keuntae Kim 与 Yong Suk Choi 称，此前隐性学习只在学生模型用教师模型生成的文本训练时被观察到，这次则显示特质可经评审打分传递。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。