研究复现Transformer两条记忆缩放定律

Alex Nguyen、Kenneth A. Norman、Gautam Reddy 发表论文称，他们在随机二进制序列上训练的 Transformer 中复现了两条记忆缩放定律：参数量越大，模型可记忆的数据量（比特）近似线性增长；同时记忆速度更快、所需重复次数更少。 该结论的适用范围是随机二进制序列这一无语义、无组合结构的数据：作者据此指出，即使数据不含语义或组合结构，快速记忆也能出现。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。