DMT提出恒定成本注意力混合记忆架构

Yannis Bendi-Ouis 与 Xavier Hinaut 发布论文，提出 Dynamical Memory Transformer（DMT）混合架构，将序列编码与信息读取分离。编码器使用多个由复数对角循环矩阵构成的动力系统记忆单元，由输入相关的泄漏率控制更新；解码器通过注意力直接读取其输出，不经过 token 历史。论文称该架构以恒定成本注意力实现选择性循环记忆。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。