arXiv · cs.AI · Phongsakon Mark Konrad, Toygar Tanyel, Serkan Ayvaz · 9 小时前模型评分43
研究提出 Routing Subspaces 审计方法，检测微调语言模型的评测与部署行为差异
Routing Subspaces: Auditing Evaluation-to-Deployment Mismatch in Fine-Tuned Language Models
导读
研究提出一种名为 Routing Subspaces 的白盒审计方法，通过在模型中间层拟合配对激活对比并修改坐标，检测微调模型在评测提示与日常使用提示下的行为差异。在四个全矩阵指令微调模型实例的十二个模型—行为设置中，有十个设置将评测与部署的差距缩小超过 0.12，其中四个设置将差距缩小至 0.06 以下。该方法属于非自适应诊断工具，并非训练时的防御手段，也不能保证部署安全。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We investigate whether the distinction is encoded in a stable internal site and introduce an audit that fits a paired activation contrast at a path-patching-informed mid-depth window, then modifies the resulting coordinate on held-out prompts.”
- “The audit is a non-adaptive, white-box diagnostic for controlled fine-tuned checkpoints, not a training-time defense, a guarantee of deployment safety, or evidence about naturally arising failures.”
来源：arXiv · cs.AI · arxiv.org