研究者提出在前向传播内运行冻结磁带模块

Michael Granitzer 等作者发布论文，提出把冻结的“磁带模块”当作小语言模型的层，让工具计算在语言模型的前向传播内部完成。 方法分三步：学习到的写入器把模型的隐藏状态转成符号磁带，单独训练后冻结的模块把磁带归约为结果，再由读取器送回模型。作者在论文中称，这是在语言模型前向传播内运行小型神经模块的一条替代路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。