研究：预训练后加循环层只对小模型划算

一项研究比较了预训练后给模型加循环层（让每个 token 多次通过同一组层）的收益与推理成本。在 Qwen3 和 Qwen3.5 的 0.8B 至 9B 模型上，只有 0.8B 的循环模型同时胜过等参数无循环模型和等推理浮点运算（FLOPs）基线。 4B 和 9B 的循环模型未能胜过同结构无循环模型。研究由此认为，在固定参数预算下，预训练后再加循环层的做法只对小模型划算。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。