Turing 大语言模型(LLM,Large Language Model) 后训练:校准蒸馏与高效动态 混合专家(MoE,Mixture of Experts) 执行
研究提出 Turing 大语言模型(LLM,Large Language Model) 后训练方案,将校准多教师同策略蒸馏(C-MOPD)与动态路由混合专家(混合专家(MoE,Mixture of Experts))执行路径结合,在 Turing-20B-A2B 上四领域归一化整合得分达 0.9988,每个领域保留至少 90.16% 的专家增益。