arXiv · cs.AI · Sosuke Kobayashi, Shoichiro Yamaguchi, Seiya Tokui · 7 小时前模型评分42
无需训练的稀疏注意力方法：用粗粒度语义块加速长上下文推理
Coarse Semantic Blocks for Efficient Training-Free Sparse Attention
导读
研究者提出一种无需训练的稀疏注意力方法，为每个提示词构建键索引，把键聚类成跨非连续位置的大语义块，查询按块中心打分选块后只关注块内原始键值。在单张 NVIDIA H200 上评测 Qwen3.5-4B 和 35B-A3B，含索引构建开销在内，512K token 时预填充提速 2.3-2.4 倍、解码提速 1.7-2.0 倍，1M 时预填充提速 2.9-3.0 倍。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce a training-free sparse attention method that builds a prompt-specific key index to accelerate both prefill and decoding.”
来源：arXiv · cs.AI · arxiv.org