跳到正文
热点事件持续更新

SparseGDN:分块稀疏加速线性注意力预填充

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Jiedong Zhuang 等作者发布论文,提出硬件感知框架 SparseGDN:它结合结构化块内近似与依赖输入的循环事件选择,同时为每个 token 生成输出,以降低长上下文预填充的开销。 在 Qwen3.5-4B 和 Qwen3.5-9B 上,作者用 4K 至 128K 的上下文进行测试:平均保留约 29% 的循环事件,相比原生 FLA 内核实现 1.50–1.94 倍 GDN 核心预填充加速;作者称,这一加速已计入在线选择本身的开销。

AI 根据报道生成 · 5 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · cs.AI
    SparseGDN:线性注意力中的分块稀疏方法

    SparseGDN 是一个硬件感知框架,通过结构化分块近似和依赖输入的循环事件选择,为每个 token 生成输出,从而降低长上下文预填充的开销。在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文,平均保留约 29% 的循环事件,相比原生 FLA 内核实现 1.50-1.94 倍 GDN 核心预填充加速。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。