arXiv · cs.AI · Yannis Bendi-Ouis (Mnemosyne), Xavier Hinaut (Mnemosyne) · 11 小时前模型评分35
Dynamical Memory Transformer：用恒定成本注意力实现选择性循环记忆
Dynamical Memory Transformer: Selective Recurrent Memories with Constant Cost Attention
导读
研究者提出 Dynamical Memory Transformer（DMT），一种将序列编码与信息读取分离的混合架构：编码器用多个由复数对角循环矩阵构成的动力系统记忆单元，由输入相关的泄漏率控制更新，解码器通过注意力直接读取其输出而不经过 token 历史。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present the Dynamical Memory Transformer (DMT), a hybrid architecture that separates sequence encoding from information reading.”
来源：arXiv · cs.AI · arxiv.org