Poolwise提出跨提示奖励模型选择评测协议

Mateusz Modrzejewski 与 Tomasz Radzikowski 提出 Poolwise 协议：按分数从跨提示词回复池中选取固定比例数据，用外部标签衡量所选集合质量，并单独报告提示词内排序。 在 HelpSteer 实验中，提示词内准确率最高的模型所选数据质量反而低于正确对齐均值目标的模型；对六个开源奖励模型和两个闭源评审模型减去提示词均值，会降低所选数据的有用性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。