跳到正文
arXiv · cs.AI · Tims Pecerskis, Aivars Smirnovs · 10 小时前模型评分41

Mixture-of-Models：把异构 大语言模型（LLM，Large Language Model） 分布式推理做成模型级混合专家

Mixture-of-Models: Distributed Inference over Heterogeneous LLMs as Model-Level Mixture-of-Experts

导读

研究者提出 Mixture-of-Models（MoM）架构，把 Switch Transformer 的混合专家思路提升到语义层，让各自独立训练、各占一块 图形处理器（GPU，Graphics Processing Unit） 的大语言模型通过 N-Way Self-Evaluating Deliberation 协议达成共识。

生成六维分析
分类置信度

中 · 待人工复核

  • 只有单一媒体来源，需要人工复核。

来源级别：媒体与个人

事件类型：研究发布

证据摘录

  • “We propose Mixture-of-Models (MoM) architecture as Switch Transformer scaling to semantic level which composes inference across independently trained distributed LLMs, each run on its own GPU.”

来源：arXiv · cs.AI · arxiv.org

推理能力部署工程论文研究#论文/研究#推理#部署/工程