智能体审计发现CLEVER基准八成参考规范有误

Alessandro Sosso等作者用三个相互独立的智能体系统审计Lean 4可验证代码生成基准CLEVER，这三个系统分别基于Claude Opus 4.6、GPT-5.4和Kimi K2.5。审计发现，161条样本中有80条的参考规范存在错误。 研究还指出，CLEVER依赖同构检查来评分：当生成代码与参考规范的理解不同、但两者都合理时，这种评分方式就会失效。这意味着该基准现有的得分可能无法准确反映模型的代码生成能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。