arXiv · cs.AI · Eduardo Fuentes, Gonzalo Riera, H\'ector Allende-Cid · 12 小时前模型评分32
模块加法 Transformer 傅里叶电路中的非共形畸变与局部取向反转
Nonconformal Distortion and Local Orientation Reversal in the Fourier Circuit of a Modular-Addition Transformer
导读
研究对已逆向解析出算法的单层 Transformer 模块加法傅里叶电路做局部微分几何测量,发现训练后五个关键频率平面的 Beltrami 系数中位数为 0.304–0.446,呈非共形畸变并出现局部取向反转。该中位数从初始化时的 0.939 降至训练后的 0.390,且大部分降幅发生在傅里叶电路形成之前。单个输入层面,Beltrami 幅值与正确 logit 间隔几乎无关(|ρ|≤0.026)。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “We study the local differential geometry of a Fourier-based modular-addition circuit in a one-layer transformer whose algorithm has previously been reverse-engineered.”
来源:arXiv · cs.AI · arxiv.org