研究智能体科研判断力评测框架 rTaste 发布
热点事件持续更新
研究智能体科研判断力评测框架 rTaste 发布
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Art Kanke 发布 rTaste 评测框架及配套数据集，用来检验研究智能体能否判断哪些实验值得做。数据集包含全部 415 条最小可行实验（MVE）及其预测和审计结果。 评测中，六个前沿模型以研究智能体身份阅读七篇近期 NLP 论文，各自或组队提出 MVE，预测这些实验能否过阈值并为其排序。随后由独立执行者逐一尝试全部实验，三名模型审计员评判结果。 rTaste 把判断环节与实际执行结果对照，评测对象是模型在实验开展前对可行性与价值的预判，而不是实验执行本身。
AI 根据报道生成 · 4 小时前更新
最新进展11月4日 13:00
rTaste 研究：研究智能体能否判断哪些实验值得做报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.AIrTaste 研究：研究智能体能否判断哪些实验值得做
Art Kanke 的论文 rTaste 让六个前沿模型以研究智能体身份阅读七篇近期 NLP 论文，各自或组队提出最小可行实验（MVE，Minimum Viable Experiment），预测能否过阈值并排序，再由独立执行者逐一尝试全部实验、三名模型审计员评判结果。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月4日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。