arXiv · cs.AI · Alexander Kovalenko, Artem Redchych · 8 小时前模型评分57
CAREFUL-Bench 提出效果感知、免裁判的多轮函数调用评测
CAREFUL-Bench: Effect-Aware, Judge-Free Evaluation of Multi-Turn LLM Function Calling
导读
作者发布 CAREFUL-Bench，在不替换 Berkeley Function Calling Leaderboard（BFCL）的前提下为其加入效果感知评分，通过执行 128 个函数推断副作用，并用免裁判回放评分器复现全部 800 条参考轨迹的官方结果。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We make BFCL effect-aware without replacing it.”
来源：arXiv · cs.AI · arxiv.org