重放研究：代码大量非法，LLM评审分数几乎不变

Masoud Fetanat 发布的复现研究在 421 道编程题上重放早先评测，对比 Qwen-2.5-7B-Instruct 与两个经 GRPO 训练的版本，发现训练后模型有 63%–67% 的尝试生成非法 Python，但强语言模型评审给出的 Pass@32 仅从 96.67% 降到 93.95%。 该检查不需要测试或代码执行，能标出评审仍然接受的无效答案；Fetanat 称它无法确认代码在功能上是否正确。研究据此认为，语言模型评审式评测的敏感性存疑。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。