研究者提出两种MoE专家剪枝方法，保留专家结构关系

Tian Wang等研究者提出一个保结构专家剪枝框架，包含投影能量专家剪枝（PEEP）和分布覆盖专家剪枝（DCEP）两种方法。两者都把路由器权重当作先验：PEEP通过最大化加权投影能量来保留功能子空间，DCEP通过最小化加权覆盖误差来保留分布几何，目标是在剪掉专家的同时保留专家之间的全局结构关系，并兼顾单个专家的重要性。 据论文报告，在DeepSeek-V2-Lite和Qwen3-30B-A3B上，当专家保留率为75%和50%时，这两种方法在多数基准上优于现有基线，在通用任务和数学推理任务上的平均表现均为最佳。

AI 根据报道生成 · 4 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。