arXiv · cs.AI · Yang Qu, Qiang Fu, Zonghao Ying, Jiayi Zhao, Yaoyuan Zhang, Jinyang Guo, Jian Yang, Aishan Liu, Yingxun Wang, Xianglong Liu · 5 小时前模型评分39
VagueBench：评测具身智能体在环境上下文幻觉下的鲁棒性
VagueBench: Benchmarking the Robustness of Embodied Agents on Ambient Context Illusions
导读
研究者提出 VagueBench，一个基于 AI2-THOR 仿真环境、含 1,303 组指令对的基准，用于评测具身智能体在省略非必要上下文细节时的表现。在 6 个先进具身智能体上，任务成功率相对下降 19.65%，空计划率相对上升 54.10%，说明它们更依赖辅助语言信号而非核心任务语义。该现象在真实机器人系统中同样存在，可能导致错误决策和安全风险。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To systematically study this, we establish VagueBench, a benchmark built upon the AI2-THOR interactive simulation environment for the evaluation of context dependency in embodied agents.”
来源：arXiv · cs.AI · arxiv.org