跳到正文
arXiv · cs.AI · Marcus Armstrong, Navid Ayoobi, Arjun Mukherjee · 7 小时前模型评分47

研究:领域特定潜空间几何可跨模型架构迁移,无需更新权重即可纠正模型行为

Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation

导读

一项被 EMNLP 2026 主会收录的研究发现,用线性投影矩阵把大教师模型的激活向量映射到小学生模型的坐标系,可在推理时替换其残差流内部状态、无需更新权重。在 20 组异构师生模型配对中,Ridge 投影在语言推理和数学推理上分别达到 R^2 = 0.50 和 0.40,在 TruthfulQA 与 GSM8K 上的行为纠正率均值约 25%。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We investigate whether independently trained language models converge to geometrically compatible latent representations, and whether this compatibility can be exploited to correct model behavior at inference time without any weight updates.”

来源:arXiv · cs.AI · arxiv.org