arXiv · cs.AI · Masoud Fetanat · 9 小时前模型评分50
研究：代码全错但评分几乎不变，语言模型评审式评测的敏感性存疑
Impossible Code, Barely Changed Score: A Replay Study of Judge-Based Evaluation
导读
一项复现研究在 421 道编程题上对比 Qwen-2.5-7B-Instruct 与两个经 GRPO 训练的版本，发现训练后模型有 63%-67% 的尝试生成非法 Python，但强语言模型评审给出的 Pass@32 仅从 96.67% 降到 93.95%。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We examine this requirement by repeating an earlier evaluation on 421 coding problems, comparing Qwen-2.5-7B-Instruct with two versions trained using Group Relative Policy Optimization (GRPO).”
- “This check requires no tests or code execution and flags invalid answers that the judge accepts, although it cannot establish functional correctness.”
来源：arXiv · cs.AI · arxiv.org