双预算稀疏文本扩散分析论文发布

一篇 arXiv 分析把长上下文扩散模型的成本拆成两个预算：注意力图可用的边数，以及每个 token 激活的专家数，并据此比较局部、膨胀与全局注意力在同条件专家计算下的表现。 作者称，长度实验在所列基线中到 16K 仍保持增益，但随长度增加出现可测退化；成本记录显示相对 DiffuSeq 降低 20%，但这一数字对应的计时口径未说明。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。