跳到正文
arXiv · cs.AI · Kangkang Li, Kelvin Luu, Lily Ma, Tu Trinh, Ying Liu, Mohamed Elfeki · 6 小时前模型评分56

BARC-Bench 发布:看似无害的请求如何让智能体越界

BARC-Bench: Benign Asks, Risky Consequences

导读

研究团队发布 BARC-Bench,用 110 个任务覆盖九个模拟办公环境,考察用户请求本身无害、却给不安全操作留下空间时智能体能否守住边界。评测对四种前沿模型配置各尝试五次,五次全部安全完成的任务占比在 9.1% 到 72.7% 之间,最强配置仍在 27.3% 的任务上出现安全违规。作者指出,模型常能完成复杂流程,却难以稳定遵守未明说的边界,这构成自主委派的主要障碍。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “To study these risks, we introduce BARC-Bench, a collection of 110 tasks across nine simulated workspace environments where benign requests leave openings for unsafe actions.”

来源:arXiv · cs.AI · arxiv.org