免训练稀疏注意力方法提速长上下文推理
热点事件持续更新
免训练稀疏注意力方法提速长上下文推理
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Sosuke Kobayashi等提出一种免训练稀疏注意力方法：为每个提示词构建键索引，把键聚类成跨非连续位置的大语义块，查询按块中心打分选择块后，只关注块内原始键值。该方法在单张 NVIDIA H200 上评测 Qwen3.5-4B 和 35B-A3B；计入索引构建开销后，512K token 时预填充提速 2.3–2.4 倍、解码提速 1.7–2.0 倍，1M token 时预填充提速 2.9–3.0 倍。
AI 根据报道生成 · 5 小时前更新
最新进展11月4日 13:00
无需训练的稀疏注意力方法：用粗粒度语义块加速长上下文推理报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.AI无需训练的稀疏注意力方法：用粗粒度语义块加速长上下文推理
研究者提出一种无需训练的稀疏注意力方法，为每个提示词构建键索引，把键聚类成跨非连续位置的大语义块，查询按块中心打分选块后只关注块内原始键值。在单张 NVIDIA H200 上评测 Qwen3.5-4B 和 35B-A3B，含索引构建开销在内，512K token 时预填充提速 2.3-2.4 倍、解码提速 1.7-2.0 倍，1M 时预填充提速 2.9-3.0 倍。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月4日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。