GC-MoE 开源 FP8/FP4 MoE 推理算子
热点事件持续更新
GC-MoE 开源 FP8/FP4 MoE 推理算子
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Yong Li、Kan Liu、Tao Lan 发布论文并开源 GC-MoE，一个面向 NVIDIA Hopper 和 Blackwell GPU 的 FP8/FP4 MoE 推理算子。它用 CUDA Green Contexts 把 GPU 划分成小规模的通信分区和大规模的算力分区，让 MoE 的 Token 分发与分组 GEMM 由不同分区独立调度、并发执行。 在 B300 上，GC-MoE 只留出 148 个 SM 中的 20 个用于 Token 分发，其余 SM 用于计算。这是论文给出的配置与做法，报道未给出该方案相对其他实现的性能提升数据。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.AIGC-MoE：用 CUDA Green Contexts 实现 FP8/FP4 分组 GEMM 的重叠专家并行 Token 分发
开源推理算子 GC-MoE 通过 CUDA Green Contexts 把 图形处理器（GPU，Graphics Processing Unit） 划分为通信与计算两个分区，让 MoE 的 Token 分发与分组 GEMM 各自独立调度并并发执行。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月4日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。