跳到正文
arXiv · cs.AI · Charles H. Martin · 7 小时前模型评分36

用威尔逊重整化群视角看神经网络学习:谱指数 α≈2 为何标志训练良好

A Spectral Renormalization-Group View of Learning

导读

一项研究用威尔逊重整化群(RG,Renormalization Group)思路分析深度神经网络各层在训练中的谱结构,发现层常出现重尾幂律谱,且最强检查点多出现在幂律指数 α≈2 附近。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We study how the layers in deep neural networks (NNs) converge, using Wilsonian Renormalization-Group (RG) ideas to organize the spectral picture.”

来源:arXiv · cs.AI · arxiv.org