发布Agent轨迹评审测试台与配对判别指标
热点事件持续更新
发布Agent轨迹评审测试台与配对判别指标
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
研究者在确定性客服测试台上向400条正确轨迹注入故障，检验只给请求和最终回复的14B评审模型。该模型对四类不改变回复的故障召回率为34%至76%，但因输入与干净轨迹完全相同，配对判别力为零，这一召回率实际等于它在干净轨迹上的误报率。 作者Hadi Mohammadi据此建议按故障是否进入评审输入、是否改变环境结果分别报告配对判别力，并开源测试台、原始判定与分析流程。论文还称，若要求逐步检查，同一模型能报出这四类全部故障，且100条干净轨迹零误报（95%置信区间上限3.6%）。
AI 根据报道生成 · 5 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · cs.AItrajectory-judge：只看结果的 大语言模型（LLM，Large Language Model） 评审在智能体轨迹上漏掉了什么
一项研究用确定性客服测试台向 400 条正确轨迹注入故障，检验只给请求和最终回复的 14B 评审模型。该模型对四种不改变回复的故障类型召回率为 34% 至 76%，但因输入与干净轨迹相同，配对判别力为零，说明召回率只是它在干净轨迹上的误报率。研究建议按故障是否进入评审输入及是否改变环境结果分别报告配对判别力，并开源测试台、原始判定与分析流程。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。