arXiv · cs.AI · Shaanil Punglia, Dadhichi Telwadkar, Vaibhav Rathore, Siddharth Sureka, Neha Bhargava · 5 小时前模型评分34
研究:语言子空间干预在 Qwen2.5-7B 等四个开源权重模型上的真实效果
Beyond Accuracy: What Language-Subspace Interventions Capture, Remove, and Improve
导读
研究用 MATH 和 MGSM 在四个开源权重大语言模型上检验语言子空间干预:Mean-SVD 与 DiffPCA 构建的子空间都能捕捉大量翻译相关变化,但投影后线性探针仍几乎完美识别语言。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “Language-subspace interventions aim to improve multilingual reasoning by suppressing language-related components in mid-layer activations.”
来源:arXiv · cs.AI · arxiv.org