arXiv · cs.AI · Chenjie Qiu, Boyan Xu, Shaobin Shi, Bingfeng Chen, Ruichu Cai, Dongsheng Luo · 9 小时前模型评分48
CLR-Bench:在隐藏规则课程上评测自进化智能体
More Rules, Longer Lists? Benchmarking Self-Evolving Agents on a Hidden-Rule Curriculum
导读
研究者提出 CLR-Bench,用每层新增一条隐藏规则的课程链评测自进化智能体能否学到没人告知的规则,并发布覆盖 10 个领域的 20 条链。六种近期自进化方法在认证模型上提升不超过 5 分,仅排除 6-12% 的未见成员,低于直接保留原始练习历史的 20%;一句说明命名分组约定的固定提示可让这些方法提升 14.5 至 16.5 分。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “We introduce CLR-Bench, a Curriculum of Latent Rules benchmark.”
- “An automated pipeline builds chains from a new data domain, and we release 20 chains over 10 domains.”
来源:arXiv · cs.AI · arxiv.org