arXiv · cs.AI · Keuntae Kim, Yong Suk Choi · 11 小时前模型评分59
研究显示模型特质可通过评审模型打分在强化学习中传递
Subliminal Reinforcement Learning: traits travel through a judge's scores
导读
一项 arXiv 论文发现，在基于语言模型评审打分的后训练中，学生模型即使只看到自己生成的音节或数字，其偏好也会向评审模型偏好的动物方向移动。在 48 个设计单元中，17 个在 5% 错误发现率下确立了特质传递，仅含数字的单元也在其中；只去掉评审之间的奖励差异，传递就消失。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Subliminal learning, the transfer of a model's trait through data with no semantic trace of it, has been shown for students trained on a teacher's text.”
来源：arXiv · cs.AI · arxiv.org