arXiv · cs.AI · Arjun Pillai, Christian Hoang, Anjelo Jann Laroza · 4 小时前模型评分35
研究揭示 Transformer 语言身份机制：GPT-2 与 Qwen2.5 的首 token 广播头
First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers
导读
研究者提出语言身份头消融（LIHA，Language Identity Head Ablation），逐个将注意力头置零并测量语言切换率，在 GPT-2 中定位到以 L6H1 为首的首 token 广播头（切换率 0.32，高于均值 3.23σ）。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce Language Identity Head Ablation (LIHA), a causal intervention that zeros each attention head individually and measures the resulting language switch rate.”
来源：arXiv · cs.AI · arxiv.org