ReLU MLP模运算grokking机制研究
热点事件持续更新
ReLU MLP模运算grokking机制研究
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Anand Swaroop 的机制研究发现，ReLU MLP 在模加法任务中学习到接近二值的方波输入权重，输出权重的主导傅里叶相位满足 φ_out ≈ φ_a + φ_b；这些结构在标签噪声下尚未发生 grokking 的模型中已经存在。 用 DFT 提取的频率和相位替换学习权重后，噪声模型准确率从 0.40% 升至 95.8%，作者据此认为 grokking 只是锐化了记忆阶段已编码的算法。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 13:00
研究揭示 ReLU MLP 在模运算中的潜在算法结构先于 grokking 出现报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · cs.AI研究揭示 ReLU MLP 在模运算中的潜在算法结构先于 grokking 出现
一项机制研究发现，ReLU MLP 在模加法任务中学习到接近二值的方波输入权重，输出权重的主导傅里叶相位满足 φ_out ≈ φ_a + φ_b，这些关系在标签噪声下甚至未发生 grokking 的模型中依然存在。用 DFT 提取的频率和相位替换学习权重后，原本仅 0.40% 准确率的噪声模型提升至 95.8%，表明 grokking 只是锐化了记忆阶段已编码的算法。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。