arXiv · cs.AI · Fei Wang, Baochun Li, Bo Li · 12 小时前模型评分43
微调混合专家大模型中的可恢复专家利用特征研究
Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs
导读
研究发现，微调后的混合专家（混合专家（MoE，Mixture of Experts），Mixture-of-Experts）大语言模型会记住训练数据及其内部处理路径，形成独特的路由指纹，且仅凭路由和输出 logits 即可在无训练数据情况下恢复这些专家路径。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Moving beyond textual analysis, we uncover structural memorization: a novel vulnerability where a fine-tuned model memorizes not only its training data but also the internal pathway used to process it, creating a characteristic routing fingerprint unique to the training process.”
来源：arXiv · cs.AI · arxiv.org