arXiv · cs.AI · Art Kanke · 5 小时前模型评分52
rTaste 研究：研究智能体能否判断哪些实验值得做
rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
导读
Art Kanke 的论文 rTaste 让六个前沿模型以研究智能体身份阅读七篇近期 NLP 论文，各自或组队提出最小可行实验（MVE，Minimum Viable Experiment），预测能否过阈值并排序，再由独立执行者逐一尝试全部实验、三名模型审计员评判结果。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：ai-tooling，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：科学研究
事件类型：研究发布
证据摘录
- “The evaluation harness and a dataset of all 415 MVEs, with their forecasts and audited outcomes, are available at this https URL .”
来源：arXiv · cs.AI · arxiv.org