arXiv · cs.AI · Yong Li, Kan Liu, Tao Lan · 5 小时前模型评分40
GC-MoE：用 CUDA Green Contexts 实现 FP8/FP4 分组 GEMM 的重叠专家并行 Token 分发
GC-MoE: Overlapping Expert-Parallel Token Dispatch with FP8/FP4 Grouped GEMM via CUDA Green Contexts
导读
开源推理算子 GC-MoE 通过 CUDA Green Contexts 把 图形处理器（GPU，Graphics Processing Unit） 划分为通信与计算两个分区，让 MoE 的 Token 分发与分组 GEMM 各自独立调度并并发执行。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：compute-hardware，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present GC-MoE, an open-source FP8/FP4 MoE inference operator for NVIDIA Hopper and Blackwell GPUs that uses CUDA Green Contexts to split the device into a small communication partition and a large compute partition.”
- “GC-MoE reserves only 20 of 148 SMs on B300 for dispatch.”
来源：arXiv · cs.AI · arxiv.org