跳到正文
热点事件持续更新

论文提出长程终端任务深度度量与DEPTH方法

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Yu Jiang等作者发布arXiv论文,指出长程终端任务基准用轮数衡量任务长度并不可靠:轮数更多反映模型习惯,生成时标注的难度也几乎不反映模型实际通过率。 论文提出DEPTH方法,让生成代理在真实软件环境中逐段编写并执行任务,每段从上一段留下的状态继续;论文称用该方法合成了105个终端任务。

AI 根据报道生成 · 4 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.AI
    论文指出长程终端任务基准的轮数不等于深度,并提出 DEPTH 生成方法

    一项 arXiv 论文发现,现有长程终端任务基准常用模型通过任务所需轮数衡量任务长度,但轮数更多反映模型习惯而非任务本身要求,生成时打的难度标签也几乎不反映模型实际通过率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。