arXiv · cs.AI · Rounak Sen, Divya Kumari, Deeksha Varshney · 5 小时前模型评分42
研究：用 BLEURT 相似度自动标注幻觉检测标签并不可靠
When Ground Truth Is Not Ground Truth: Automatic Labeling for Hallucination Detection
导读
一项 arXiv 研究用 15 种自动监督评判器、7 个幻觉检测基线和 5 种语言测试发现，检测器表现会随监督评判器的选择大幅波动。人工验证显示，QGen-9B 的总体误分类率最低，为 12.86%，而 BLEURT 和 BLEURT-n 分别高达 47.23% 和 47.32%。这说明把相似度指标当作事实性标签存在明显局限，需要更能反映语义与事实正确性的评判方法。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Through comprehensive experiments using 15 automatic supervision judges, seven hallucination detection baselines, two generator models, two QA datasets, and five languages, we demonstrate that detector performance varies substantially with the choice of supervision judge.”
来源：arXiv · cs.AI · arxiv.org