arXiv · cs.AI · Jianing Yin, Ziyi Chen, Hao Wang, Yiyou Sun, Zijian Jin, Dawn Song, Daoan Zhang · 11 小时前模型评分50
VerifierBench 发布：评测 大语言模型（LLM，Large Language Model） 智能体生成可执行验证器的能力
VerifierBench: Benchmarking the Generation of Executable Verifiers for LLM Agents
导读
研究团队发布 VerifierBench，用 222 个任务和 4,993 条隐藏测试用例评测 大语言模型（LLM，Large Language Model） 智能体能否根据任务指令和环境写出可执行验证器，要求它接受所有有效解并拒绝无效解。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：ai-tooling，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce VerifierBench, a benchmark of 222 tasks from six agent benchmarks spanning tool-call, state-based, and code verification, with 4,993 hidden test cases that include alternative valid solutions and attacks;”
- “The project page and dataset are publicly available.”
来源：arXiv · cs.AI · arxiv.org