arXiv · cs.AI · Zhexi Feng, Bingrui Zhang, Wuxi Chen · 9 小时前模型评分43
FactForm：用事实依据表单评分改进开放式问答的置信度选择
When Answer Evaluation Misleads Confidence Selection: Fact-Grounded Form Grading for Open-Ended QA
导读
研究发现，仅改变正确性标签就会让校准规则的选择发生翻转：在 141 条试点答案上，用精确匹配标签选出的规则比原始置信度好 0.239 Brier 分，但在人工标签下反而差 0.103。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Guided by this, we propose FactForm, a grader that trusts reference matches and otherwise consults evidence retrieved from the question alone.”
来源：arXiv · cs.AI · arxiv.org