arXiv · cs.AI · Man Liu, Xingchen Liu, Hairui Zhao, Guangming Tan, Dingwen Tao · 5 小时前模型评分34
FP4Quant：面向模型并行 大语言模型（LLM，Large Language Model） 训练的高效 4 比特通信压缩框架
FP4Quant: Efficient 4-Bit Communication Compression for Model-Parallel LLM Training
导读
FP4Quant 是一个面向模型并行大语言模型（LLM，Large Language Model）训练的微分组 FP4 压缩框架，在 NVIDIA H100 上用 Qwen-7B 测试，端到端吞吐量相比 BF16 最高提升 1.56 倍。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this paper, we present \textbf{FP4Quant}, a micro-grouped FP4 compression framework for efficient model-parallel LLM training.”
- “Experiments on NVIDIA H100 GPUs with Qwen-7B demonstrate up to 1.56$\times$ end-to-end throughput improvement over BF16, revealing a trade-off between throughput and model quality.”
来源：arXiv · cs.AI · arxiv.org