DAMI:双轴记忆初始化提升长上下文检索
热点事件持续更新
DAMI:双轴记忆初始化提升长上下文检索
1 篇报道1 个报道来源9 小时前更新
先了解这件事
报道摘要
研究者提出双轴记忆初始化(DAMI,Dual-Axis Memory Initialization),在训练前联合配置门控参数 A_log 与 dt_bias,为不同注意力头分配几何时间尺度、为不同层设置低-高-低输入敏感度。
摘自 arXiv · cs.AI
最新进展11月2日 13:00
DAMI:面向门控线性注意力长上下文检索的双轴记忆初始化方法报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · cs.AIDAMI:面向门控线性注意力长上下文检索的双轴记忆初始化方法
研究者提出双轴记忆初始化(DAMI,Dual-Axis Memory Initialization),在训练前联合配置门控参数 A_log 与 dt_bias,为不同注意力头分配几何时间尺度、为不同层设置低-高-低输入敏感度。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。