arXiv · cs.AI · Dipto Sumit, Mahima Mahzabin Sandria, Farig Sadeque, Md. Golam Rabiul Alam · 8 小时前模型评分34
研究：token 不是难度单位，分词方式决定早退模型在词内如何分配计算
A Token Is Not a Unit of Difficulty: Segmentation Controls Where Adaptive Computation Goes Inside a Word
导读
一项离线分析发现，早退语言模型按 token 分配计算时，分词方式会决定预算落在词内哪个片段：在 Qwen3 上，英语、德语、土耳其语的词后续片段获得的计算少于首片段，孟加拉语则相反。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We ask where inside a word such a policy spends its budget.”
来源：arXiv · cs.AI · arxiv.org