审计发现智能体榜单评测基础设施静默出错

研究者 Yangze Liu 等人仅依据已公开的评测产物审计 HAL 和 tau2-bench 两个公开智能体榜单，又发现三处评测基础设施的“仪器错误”，这些错误会在不报错的情况下发生，并改变榜单排名。 其中一个案例里，通用智能体因对话结束方式未触发评分，只有约一半回合被计分，其余回合被记为失败；按榜单自身规则补评未计分部分后，差距消失，且无需重跑智能体。 错误出在评测基础设施本身，不在被评测的智能体；若不修正，公开榜单的排名结论会随之失真。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。