arXiv · cs.AI · Alex Nguyen, Kenneth A. Norman, Gautam Reddy · 9 小时前模型评分43
Transformer 的元记忆与记忆缩放定律研究
Meta-memorization and memorization scaling laws in transformers
导读
研究在随机二进制序列上复现了 Transformer 的两条记忆缩放定律：参数量越大，模型可记忆的数据量（比特）近似线性增长，且记忆速度更快、所需重复次数更少。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We reproduce both memorization scaling laws in transformers trained on random binary sequences, showing that rapid memorization can arise even when data contain no semantic or compositional structure.”
来源：arXiv · cs.AI · arxiv.org