跳到正文
热点事件持续更新

DAMI:双轴记忆初始化提升长上下文检索

1 篇报道1 个报道来源9 小时前更新

先了解这件事

报道摘要

研究者提出双轴记忆初始化(DAMI,Dual-Axis Memory Initialization),在训练前联合配置门控参数 A_log 与 dt_bias,为不同注意力头分配几何时间尺度、为不同层设置低-高-低输入敏感度。

摘自 arXiv · cs.AI

报道时间线

沿着报道,了解事件的不同侧面。

11月2日
  1. arXiv · cs.AI
    DAMI:面向门控线性注意力长上下文检索的双轴记忆初始化方法

    研究者提出双轴记忆初始化(DAMI,Dual-Axis Memory Initialization),在训练前联合配置门控参数 A_log 与 dt_bias,为不同注意力头分配几何时间尺度、为不同层设置低-高-低输入敏感度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。