多层索引器复用跨层选择加速DSA解码
热点事件持续更新
多层索引器复用跨层选择加速DSA解码
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Serdarcan Dilbaz等研究者提出多层索引器(MLI)方法:在DeepSeek稀疏注意力(DSA)解码时,每层直接复用上一层索引器的选择结果,跳过重复的闪电索引器扫描,且无需重训练、不新增权重。 据作者介绍,该方法默认实现不改动内核,直接运行在SGLang的生产解码图中;在DeepSeek-V3.2上还可选用融合解码内核进一步加速。评测在IndexCache协议下进行,覆盖DeepSeek-V3.2与GLM-5,保留索引器的层比例为1/2至1/32,上下文长度10K至195K;其LongBench、RULER和LongBench v2准确率与IndexCache相差数个百分点以内。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv · cs.AIDeepSeek Sparse Attention 新方法 Multi-layer Indexer:跨层复用选择提升解码速度
针对 DeepSeek Sparse Attention(DSA,DeepSeek 稀疏注意力)中闪电索引器扫描拖慢长上下文解码的问题,研究者提出多层索引器(MLI,Multi-layer Indexer),让每层直接复用上一层索引器的选择结果,无需重训练和新权重。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。