arXiv · cs.AI · Jiedong Zhuang, Peng Zhao, Jialin Tang, Haoji Hu · 11 小时前模型评分38
SparseGDN：线性注意力中的分块稀疏方法
SparseGDN: Chunk Sparse in Linear Attention
导读
SparseGDN 是一个硬件感知框架，通过结构化分块近似和依赖输入的循环事件选择，为每个 token 生成输出，从而降低长上下文预填充的开销。在 Qwen3.5-4B 和 Qwen3.5-9B 上测试 4K 至 128K 上下文，平均保留约 29% 的循环事件，相比原生 FLA 内核实现 1.50-1.94 倍 GDN 核心预填充加速。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce SparseGDN, a hardware-aware framework that combines structured intra-chunk approximation with input-dependent recurrent-event selection while producing outputs for every token.”
- “Retaining approximately 29% of recurrent events on average, SparseGDN achieves 1.50-1.94x GDN-core prefill speedups over native FLA kernels, including online selection overhead.”
来源：arXiv · cs.AI · arxiv.org