跳到正文
arXiv · cs.AI · Yuxuan Wang, Yishu Wang, Jiaqi Deng · 10 小时前模型评分44

FABench:面向预测智能体的可扩展回测基准发布

Benchmarking Forecasting Agents on Yesterday's Tomorrows

导读

研究团队推出 FABench,一个面向预测智能体(Forecasting Agents)的可扩展回测环境,自动发现事件、生成问题并结算结果,首个版本包含九个领域的 287 道问题。

生成六维分析
分类置信度

中 · 待人工复核

  • 存在未解决的相邻类别:data-resources,需要人工复核。
  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

应用领域:金融

事件类型:研究发布

证据摘录

  • “We introduce FABench, a scalable backtesting environment for Forecasting Agents.”
  • “its first release poses 287 questions across nine domains”
  • “Agents research each question freely in an archive environment that combines an offline archive with live web search screened to prevent temporal leakage.”
  • “We release our code, data, and archive environment as a foundation for community research on forecasting agents.”

来源:arXiv · cs.AI · arxiv.org