arXiv · cs.AI · Jing Huang, Yu Cheng, Ziwei Yu, Lan Zhao, Sitan Li, Guangxiu Yao, Xin Wang, Yuanyong Luo, Hengyi Liang, Ting Li, Bo Liu, Hu Liu, Michael Bi Mi, Heng Liao · 11 小时前模型评分37
基于 HiFloat4 格式的大模型量化校准方法研究
Calibration of Large Model Quantization based on HiFloat4 Format
导读
研究提出 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种校准方法，用于 HiFloat4（HiF4）这一采用三级缩放层级的分块浮点（BFP，Block Floating-Point）4-bit 量化格式。实验显示三种方法均比直接转换为 HiF4 提升推理精度，将 HiF4 与 BF16 的差距缩小至 1% 以内，并在多种模型和下游任务上优于 NVFP4 格式。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：compute-hardware，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this paper, weinvestigatethreecalibrationapproaches,namelyHiGPTQ, HiAutoRound, and HiFlatQuant, to further enhance model this http URL”
来源：arXiv · cs.AI · arxiv.org