研究揭示MoE微调模型结构性记忆漏洞
热点事件持续更新
研究揭示MoE微调模型结构性记忆漏洞
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Fei Wang等作者发表的论文称，微调后的混合专家（MoE）大语言模型会记住训练数据及其内部处理路径，形成独特的“路由指纹”；仅凭路由和输出 logits，无需训练数据即可恢复这些专家路径。 研究将这一现象称为结构性记忆，并把它列为一种新的漏洞：模型不仅记忆文本内容，也记忆处理这些内容所走的内部通路。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
微调混合专家大模型中的可恢复专家利用特征研究报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · cs.AI微调混合专家大模型中的可恢复专家利用特征研究
研究发现，微调后的混合专家（混合专家（MoE，Mixture of Experts），Mixture-of-Experts）大语言模型会记住训练数据及其内部处理路径，形成独特的路由指纹，且仅凭路由和输出 logits 即可在无训练数据情况下恢复这些专家路径。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。