arXiv · cs.AI · Minhyeon Oh, Chiyeong Heo, Geonwoo Noh, Hoyoung Kim, Jangwon Son, Jungseul Ok · 12 小时前模型评分49
BlackSwan：用猜想与反驳验证语言模型智能体的动作
Action Verification through Conjecture and Refutation for Language Model Agents
导读
研究者提出 BlackSwan，一种面向语言模型智能体的反驳式验证流程：先预测每个改变状态的动作的预期效果，再针对它可能出错的方式提出可检验假设，用已有观察或额外的非改变性动作加以检验，只有假设全部被推翻才执行动作。在 AppWorld 任务上，其成功率比最强基线分别高出 14.9 和 25.2 个百分点（含与不含主干模型思考模式），WebShop 上提升 12.7 个百分点。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We pursue this direction with BlackSwan, a refutation-oriented, expect-suspect-test procedure that predicts the intended effect of each state-mutating action, formulates specific and empirically testable hypotheses for how it could be wrong, and tests them using existing observations or additional non-mutating actions, executing the action only if none survives testing.”
来源：arXiv · cs.AI · arxiv.org