arXiv · cs.AI · Anand Swaroop · 8 小时前模型评分45
研究揭示 ReLU MLP 在模运算中的潜在算法结构先于 grokking 出现
Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic
导读
一项机制研究发现，ReLU MLP 在模加法任务中学习到接近二值的方波输入权重，输出权重的主导傅里叶相位满足 φ_out ≈ φ_a + φ_b，这些关系在标签噪声下甚至未发生 grokking 的模型中依然存在。用 DFT 提取的频率和相位替换学习权重后，原本仅 0.40% 准确率的噪声模型提升至 95.8%，表明 grokking 只是锐化了记忆阶段已编码的算法。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We find that ReLU MLPs in our setting instead learn near-binary square-wave input weights, with intermediate values appearing only near sign-change boundaries, and output weights whose dominant Fourier phases satisfy $\phi_{\mathrm{out}} \approx \phi_a + \phi_b$.”
来源：arXiv · cs.AI · arxiv.org