研究揭示混合语言模型线性注意力构建查询机制

研究者 Wenqi Zeng、Chen Feng、YuAng Chen 发表论文，称在 Qwen3.5（Gated DeltaNet）和 Granite4.0（Mamba-2）两类混合语言模型中发现“编码—寻址”回路：早期编码块保留 token 身份，寻址块构建最终位置表示，再由 softmax 注意力据此形成查询。据此，线性注意力在检索中并非只承担辅助角色，而是直接参与构建 softmax 注意力所用的查询。 这一说法针对的是混合模型中线性注意力与 softmax 注意力分工的既有理解，结论目前来自上述两个模型的观察。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。