arXiv · cs.AI · Shota Takashiro, Takeshi Kojima, Masanori Koyama, Kohei Hayashi, Yusuke Iwasawa · 5 小时前模型评分38
Best-of-Depth：让循环 Transformer 在推理轨迹上学出探索能力
Best-of-Depth: Learning Exploratory Dynamics in Looped Transformers
导读
研究者提出 Best-of-Depth（BoD），把循环 Transformer 的推理轨迹当作候选集，通过最小化各深度的预测损失来训练，无需改动架构或深度标签。在 N-Queens 补全任务上覆盖率从最终深度训练的 45.75% 提升到 91.03%，图着色任务同样优于最终深度和中间监督目标。用 BoD 微调预训练循环语言模型后，在固定深度分别生成程序时，代码生成成功率高于最终深度训练。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce Best-of-Depth (BoD), which trains a recurrent trajectory as a candidate set by minimizing prediction loss across depths.”
来源：arXiv · cs.AI · arxiv.org