预注册研究：更换模型裁判会改变系统排名

Sangdo Han 和 Moonsoo Kim 发布的预注册研究显示，更换不同供应商的模型裁判会改变系统排名。研究让来自三家厂商的五个裁判模型重新评判 4,000 场带人类投票的 Chatbot Arena 对战，覆盖九个系统、33 个系统对，每场按两种回答顺序各评一次。研究披露注册后缩减了裁判模型集合，代码和裁判判定作为附件提供。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。