arXiv · cs.AI · Hadi Mohammadi · 11 小时前模型评分49
trajectory-judge：只看结果的 大语言模型（LLM，Large Language Model） 评审在智能体轨迹上漏掉了什么
trajectory-judge: What Outcome-Only LLM Judges Miss on Agent Trajectories
导读
一项研究用确定性客服测试台向 400 条正确轨迹注入故障，检验只给请求和最终回复的 14B 评审模型。该模型对四种不改变回复的故障类型召回率为 34% 至 76%，但因输入与干净轨迹相同，配对判别力为零，说明召回率只是它在干净轨迹上的误报率。研究建议按故障是否进入评审输入及是否改变环境结果分别报告配对判别力，并开源测试台、原始判定与分析流程。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We recommend reporting paired discrimination against clean parents, split by whether the fault reaches the judge's input and by outcome survival, and release the testbed, raw verdicts and analysis pipeline.”
- “A 14B judge shown only the request and final reply scores 34% to 76% recall on four fault types that leave the reply unchanged.”
- “Told to check each step, the same model flags every fault of those four types and 0 of 100 clean runs (95% CI up to 3.6%).”
来源：arXiv · cs.AI · arxiv.org