跳到正文
热点事件持续更新

研究者提出MoM分布式推理架构

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

Tims Pecerskis 和 Aivars Smirnovs 提出 Mixture-of-Models(MoM)架构,把 Switch Transformer 的混合专家思路从模型内部提升到语义层:各自独立训练、各占一块 GPU 的大语言模型,通过 N-Way Self-Evaluating Deliberation 协议协同推理并达成共识。 按作者的说法,这是让分布式异构 LLM 在推理阶段组合成“模型级混合专家”,而不是在单个模型内部做专家路由。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月3日
  1. arXiv · cs.AI
    Mixture-of-Models:把异构 大语言模型(LLM,Large Language Model) 分布式推理做成模型级混合专家

    研究者提出 Mixture-of-Models(MoM)架构,把 Switch Transformer 的混合专家思路提升到语义层,让各自独立训练、各占一块 图形处理器(GPU,Graphics Processing Unit) 的大语言模型通过 N-Way Self-Evaluating Deliberation 协议达成共识。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。