arXiv · cs.AI · Mateusz Modrzejewski, Tomasz Radzikowski · 10 小时前模型评分35
Poolwise：跨提示词评估奖励模型的数据选择能力
Poolwise: Evaluating Reward Models for Selection across Prompts
导读
研究团队提出 Poolwise 协议，按分数从跨提示词的回复池中选取固定比例数据，再用外部标签衡量所选集合质量，并单独报告提示词内排序。在 HelpSteer 实验中，提示词内准确率最高的模型选出的数据质量反而低于正确对齐均值目标的模型；对六个开源奖励模型和两个闭源评审模型减去提示词均值会降低所选数据的有用性。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce Poolwise, a protocol that selects a fixed fraction of a response pool by score, measures the selected set's quality using external labels, and reports within-prompt ranking separately.”
来源：arXiv · cs.AI · arxiv.org