跳到正文
热点事件持续更新

FactForm开放问答评分器提出并试点

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Zhexi Feng 等作者提出开放问答评分器 FactForm,并报告在 141 条试点答案上,仅改变正确性标签就会让校准规则的选择翻转:用精确匹配标签选出的规则比原始置信度好 0.239 Brier 分,但在人工标签下反而差 0.103。 FactForm 的评分规则是参考答案匹配时采信匹配,否则参考从问题本身检索到的证据。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.AI
    FactForm:用事实依据表单评分改进开放式问答的置信度选择

    研究发现,仅改变正确性标签就会让校准规则的选择发生翻转:在 141 条试点答案上,用精确匹配标签选出的规则比原始置信度好 0.239 Brier 分,但在人工标签下反而差 0.103。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。