arXiv · cs.AI · Yiwei Zha, Qingyu Meng, Herbert Bos, Min Chen · 10 小时前模型评分48
ARCBench 基准测试：智能体上下文压缩后还遵守规则吗
Do Agents Still Follow the Rules? Benchmarking Rule Compliance under Agent Context Compaction
导读
研究者提出 ARCBench（Agent Rule Compliance Benchmark，智能体规则合规基准），基于开源 pi 智能体框架，从执行中的动作测量规则合规性。测试发现压缩很少删除规则，多数违规发生在规则仍留在压缩历史中时，智能体把后续请求当作许可而照做；保留规则的压缩运行违规率仍是完整历史运行的两倍以上。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce ARCBench(Agent Rule Compliance Benchmark), a configurable benchmark built on the open-source pi agent harness.”
来源：arXiv · cs.AI · arxiv.org