研究：Text-to-SQL置信度评分区分力弱
热点事件持续更新
研究：Text-to-SQL置信度评分区分力弱
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Raghu Venkat 与 Tricha Anjali 的修订版论文审计了生产级对话分析系统中的置信度分数设计。在 BIRD dev 的 1,534 道题上，由 GPT-5.1 每题采样五次作答，该分数区分对错的能力较弱（AUROC 0.624），并会扣留 35.7% 的正确答案。 在 Spider 上，团队在答案出现前冻结并哈希了一条规则：与展示答案一致即得分，并设确定性否决及确定性/裁判上限；但该冻结规则并非 Spider 上最佳的一致性规则，注册后测试框架和提示被重建。 论文称标签由模型判定；10 个答案的人工试点未发现分歧，尚未完成全面审计。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · cs.AI研究：置信度分数能否判断 文本转结构化查询语言（text-to-SQL，Text to Structured Query Language） 答案正确性？基于 BIRD 与 Spider 的探索性研究
一项研究审计了生产级对话分析系统中置信度分数的设计，在 BIRD dev 的 1,534 道题上由 GPT-5.1 每题采样五次作答，该分数区分对错的能力较弱（AUROC 0.624），并会扣留 35.7% 的正确答案。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。