arXiv · cs.AI · Zhangchi Feng, Harry Jiang, Yangyifei Luo, Ray Zhang, Richong Zhang · 11 小时前模型评分41
DAMI：面向门控线性注意力长上下文检索的双轴记忆初始化方法
DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention
导读
研究者提出双轴记忆初始化（DAMI，Dual-Axis Memory Initialization），在训练前联合配置门控参数 A_log 与 dt_bias，为不同注意力头分配几何时间尺度、为不同层设置低-高-低输入敏感度。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Therefore, we introduce Dual-Axis Memory Initialization (DAMI), which jointly configures these parameters before training.”
- “A small activation sample calibrates the GDN-family implementation to match both behavioral targets without adding trainable parameters.”
- “Our code is available at this https URL .”
来源：arXiv · cs.AI · arxiv.org