arXiv · cs.AI · Wenqi Zeng, Chen Feng, YuAng Chen · 9 小时前模型评分47
研究揭示混合语言模型中线性注意力负责构建查询、softmax 注意力负责检索
Who Asks, Who Answers: Linear Attention Builds the Query in Hybrid Language Models
导读
研究者在 Qwen3.5（Gated DeltaNet）和 Granite4.0（Mamba-2）中发现“编码—寻址”回路：早期编码块保留 token 身份，寻址块构建最终位置表示，供 softmax 注意力形成查询。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We revisit this division of labor and show that linear attention plays a direct role in retrieval by constructing the query used by softmax attention.”
来源：arXiv · cs.AI · arxiv.org