arXiv · cs.AI · Yu Jiang, Yue Huang, Hang Hua, Yuyang Wu, Zixuan Weng, Olexandr Isayev, Yue Zhao, Zinan Lin, Xiangliang Zhang · 10 小时前模型评分54
论文指出长程终端任务基准的轮数不等于深度，并提出 DEPTH 生成方法
Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks
导读
一项 arXiv 论文发现，现有长程终端任务基准常用模型通过任务所需轮数衡量任务长度，但轮数更多反映模型习惯而非任务本身要求，生成时打的难度标签也几乎不反映模型实际通过率。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose DEPTH, in which a generation agent writes each task one segment at a time in a real software environment, carrying out each segment before writing it and starting the next from the state it leaves.”
来源：arXiv · cs.AI · arxiv.org