预注册研究：后训练模型被要求引用时伪造率上升

Zain Naboulsi 发布的预注册研究在900道固定问题（美国联邦判例法、计算相关科学文献和医学文献）上，测试三个模型家族、四个后训练阶段的12个开放权重检查点，并在15个检查点上复验。研究发现，要求给出引用会大幅提高后训练检查点的伪造率，基础模型则没有：12个检查点上的交互效应为47.8个百分点（Holm校正 p=2e-34），15个检查点上为41.5个百分点，三个领域均如此。 后训练整体也使伪造率从4.8%升至56.7%，但研究事先预测“越诱人伪造处升幅越大”未获支持。研究还称，仅按表面引用特征训练的偏好模型有86%的情况偏好后训练输出，固定引用数量后仍奖励数量。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。