研究：分词方式决定早退模型词内计算分配

Dipto Sumit 等作者发布的一项离线分析发现，早退语言模型按 token 分配计算预算时，分词方式会决定预算落在词内的哪个片段，因此 token 不是衡量难度的单位。 该分析在 Qwen3 上观察到，英语、德语、土耳其语的词中，后续片段获得的计算少于首片段；孟加拉语则相反，后续片段获得更多计算。这一结果来自离线分析，未涉及其他模型或在线推理的验证。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。