arXiv · cs.AI · Yangze Liu (Shandong University) · 3 小时前模型评分62
研究：智能体评测中的静默工具错误会改变榜单排名
Silent Instrument Errors Reorder Agent Leaderboards
导读
一项针对 HAL 和 tau2-bench 两个公开智能体榜单的审计发现，评测基础设施本身会静默出错并改变排名。在其中一个案例中，通用智能体因对话结束方式未触发评分，只有约一半回合被计分，其余被记为失败；按榜单自身规则补评未计分部分后，差距消失且无需重跑智能体。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We audit two carefully maintained public leaderboards, HAL and tau2-bench, from their published artifacts alone and find three more instrument errors.”
来源：arXiv · cs.AI · arxiv.org