研究复现八个多模态基准评分器：相同输出分数最多相差22分

Ahmad Jarjis Hasan 与 Jonathan Lwowski 复现了八个经同行评审的多模态基准的官方评分器，并在五个能装入单张 16 GB GPU 的开源视觉语言模型上测试，发现仅评分规则这一项，就能让相同输出的准确率最多相差 22 分。 研究者还引入由人和大模型裁判共同进行的盲审复核（Cohen's kappa=0.956），以还原模型实际给出的答案；他们公开了代码、标签和协议。作者主张，基准应报告不合规率，并至少采用两套评分规则，而不是只依赖一套未经检验的评分规则。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。