SparseGDN:分块稀疏加速线性注意力预填充
热点事件持续更新
SparseGDN:分块稀疏加速线性注意力预填充
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Jiedong Zhuang 等作者发布论文,提出硬件感知框架 SparseGDN:它结合结构化块内近似与依赖输入的循环事件选择,同时为每个 token 生成输出,以降低长上下文预填充的开销。 在 Qwen3.5-4B 和 Qwen3.5-9B 上,作者用 4K 至 128K 的上下文进行测试:平均保留约 29% 的循环事件,相比原生 FLA 内核实现 1.50–1.94 倍 GDN 核心预填充加速;作者称,这一加速已计入在线选择本身的开销。
AI 根据报道生成 · 5 小时前更新
最新进展11月2日 13:00
SparseGDN:线性注意力中的分块稀疏方法报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · cs.AISparseGDN:线性注意力中的分块稀疏方法
SparseGDN 是一个硬件感知框架,通过结构化分块近似和依赖输入的循环事件选择,为每个 token 生成输出,从而降低长上下文预填充的开销。在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文,平均保留约 29% 的循环事件,相比原生 FLA 内核实现 1.50-1.94 倍 GDN 核心预填充加速。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。