arXiv · cs.AI · Rhea Sanjay Sukthanker, Pashmina Cameron · 12 小时前模型评分34
研究：预训练后给模型加循环层，只有 0.8B 小模型划算
There Is No Free Loop: When Does Looping a Trained Model Pay for Its Inference Compute?
导读
一项研究比较了在预训练后给模型加循环层（让每个 token 多次通过同一组层）的收益与推理成本，在 Qwen3 和 Qwen3.5 的 0.8B 至 9B 模型上，只有 0.8B 的循环模型同时胜过等参数无循环模型和等推理浮点运算（FLOPs）基线。4B 和 9B 的循环模型未能胜过同结构无循环模型，说明在固定参数预算下，这种加循环的做法只对小模型划算。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Looping re-applies a block of layers so that each token passes through the block more than once.”
来源：arXiv · cs.AI · arxiv.org