arXiv · cs.AI · Dipto Sumit, Syeda Fabiayee Jahan, Farig Sadeque · 13 小时前模型评分42
温度而非知识：递归自训练及其补救措施对语言模型置信度的影响
Temperature, Not Knowledge: What Recursive Self-Training and Its Remedies Do to a Language Model's Confidence
导读
研究在 Qwen3-1.7B 上进行五轮递归自训练，发现准确率和区分能力几乎不变，但模型置信度变得更尖锐、最自信的答案反而更不可靠。漂移主要来自对每个生成答案拟合两次，top-p 截断贡献其余部分；将预测熵对齐校准起点模型可近似标签温度拟合的再校准效果。截断交叉熵、熵奖励和单次训练能保持温度但不改善区分能力，focal loss 和多样本目标则改善区分能力却导致欠自信。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We study a five-round self-training loop on Qwen3-1.7B, using three seeds per compared method, and distinguish confidence temperature (drift from a calibrated starting point) from discrimination (ranking correct answers above incorrect ones).”
来源：arXiv · cs.AI · arxiv.org