ReplayRCA：反事实重放评测Agent失败诊断

Jeremy Canale 和 Fabien Soulis 发布 ReplayRCA 基准及评测结果，用反事实重放而非与标注一致来给语言模型 Agent 的失败诊断打分。 该基准把环境恢复到出错步骤之前，用诊断模型给出的动作替换 Agent 原动作，再让同一 Agent 继续执行，并以继续成功率的提升幅度作为因果修复分数。它面向 Agent 失败的事后诊断与实时监督评测，环境和评测代码已随基准发布。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。