arXiv · cs.AI · Jeremy Canale, Fabien Soulis · 10 小时前模型评分67
ReplayRCA 基准发布：用反事实重放衡量智能体失败的诊断与实时监督
ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay
导读
研究者提出 ReplayRCA 基准，用反事实重放给智能体失败诊断打分：把环境恢复到出错步骤之前，用诊断模型给出的动作替换原动作，再让同一智能体继续执行，以继续成功率的提升幅度作为因果修复分数。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce ReplayRCA, a benchmark that scores such diagnoses by intervention rather than by agreement with annotations”
- “The environment and the evaluation code are released at this https URL .”
来源：arXiv · cs.AI · arxiv.org