跳到正文
arXiv · cs.AI · Shaanil Punglia, Dadhichi Telwadkar, Vaibhav Rathore, Siddharth Sureka, Neha Bhargava · 5 小时前模型评分34

研究:语言子空间干预在 Qwen2.5-7B 等四个开源权重模型上的真实效果

Beyond Accuracy: What Language-Subspace Interventions Capture, Remove, and Improve

导读

研究用 MATH 和 MGSM 在四个开源权重大语言模型上检验语言子空间干预:Mean-SVD 与 DiffPCA 构建的子空间都能捕捉大量翻译相关变化,但投影后线性探针仍几乎完美识别语言。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “Language-subspace interventions aim to improve multilingual reasoning by suppressing language-related components in mid-layer activations.”

来源:arXiv · cs.AI · arxiv.org