Step-dLLM：扩散LLM推理的自适应稀疏注意力

Zhichen Zeng等发布Step-dLLM，一种面向扩散大语言模型（dLLM）推理的步感知稀疏注意力方法。它沿去噪轨迹在锚点步定期刷新块稀疏掩码，并在局部一致区间内复用；同时按各注意力头的注意力集中程度分配自适应预算，对注意力集中的头压缩更强。 论文称，该方法可直接用于预训练的LLaDA-1.5和Dream-7B-Instruct，无需重新训练；在LLaDA-1.5、8K上下文、256步去噪、90%稀疏度条件下，端到端速度达稠密FlashAttention的2.78倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。