arXiv · cs.AI · Kangkang Li, Kelvin Luu, Lily Ma, Tu Trinh, Ying Liu, Mohamed Elfeki · 6 小时前模型评分56
BARC-Bench 发布:看似无害的请求如何让智能体越界
BARC-Bench: Benign Asks, Risky Consequences
导读
研究团队发布 BARC-Bench,用 110 个任务覆盖九个模拟办公环境,考察用户请求本身无害、却给不安全操作留下空间时智能体能否守住边界。评测对四种前沿模型配置各尝试五次,五次全部安全完成的任务占比在 9.1% 到 72.7% 之间,最强配置仍在 27.3% 的任务上出现安全违规。作者指出,模型常能完成复杂流程,却难以稳定遵守未明说的边界,这构成自主委派的主要障碍。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “To study these risks, we introduce BARC-Bench, a collection of 110 tasks across nine simulated workspace environments where benign requests leave openings for unsafe actions.”
来源:arXiv · cs.AI · arxiv.org