BoD训练循环Transformer提升推理覆盖
热点事件持续更新
BoD训练循环Transformer提升推理覆盖
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Shota Takashiro等作者提出Best-of-Depth（BoD），把循环Transformer的推理轨迹当作候选集，通过最小化各深度的预测损失来训练，无需改动架构或深度标签。 在N-Queens补全任务上，BoD的覆盖率从最终深度训练的45.75%提升到91.03%；图着色任务也优于最终深度和中间监督目标。用BoD微调预训练循环语言模型后，固定深度生成程序的代码成功率高于最终深度训练。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
Best-of-Depth：让循环 Transformer 在推理轨迹上学出探索能力报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.AIBest-of-Depth：让循环 Transformer 在推理轨迹上学出探索能力
研究者提出 Best-of-Depth（BoD），把循环 Transformer 的推理轨迹当作候选集，通过最小化各深度的预测损失来训练，无需改动架构或深度标签。在 N-Queens 补全任务上覆盖率从最终深度训练的 45.75% 提升到 91.03%，图着色任务同样优于最终深度和中间监督目标。用 BoD 微调预训练循环语言模型后，在固定深度分别生成程序时，代码生成成功率高于最终深度训练。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。