热点事件持续更新

FP4Quant：模型并行训练FP4压缩框架

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Man Liu等作者发布论文，提出面向模型并行大语言模型训练的微分组FP4通信压缩框架FP4Quant。论文称，在NVIDIA H100上用Qwen-7B测试，端到端吞吐量相比BF16最高提升1.56倍，同时存在吞吐量与模型质量之间的权衡。

AI 根据报道生成 · 4 小时前更新

沿着报道，了解事件的不同侧面。

11月4日

13:00
arXiv · cs.AI
FP4Quant：面向模型并行大语言模型（LLM，Large Language Model）训练的高效 4 比特通信压缩框架
FP4Quant 是一个面向模型并行大语言模型（LLM，Large Language Model）训练的微分组 FP4 压缩框架，在 NVIDIA H100 上用 Qwen-7B 测试，端到端吞吐量相比 BF16 最高提升 1.56 倍。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。