跳到正文
arXiv · cs.AI · Yining Wei, Tianyuan Wu, Gu Gong, Yuechen Tao, Yinghao Yu, Xiaowen Chu, Wei Wang · 5 小时前模型评分42

FourSight:通过序列过滤与稀疏通道补偿实现稳定的 FP4 强化学习后训练

FourSight: Stable FP4 RL Post-Training via Sequence Filtering and Sparse Channel Compensation

导读

FourSight 提出一种算法与系统协同设计方法,解决 NVFP4 量化引入强化学习后训练导致的 rollout 质量下降和跨引擎训练-推理不匹配(TIM,Training-Inference Mismatch)问题。

分类置信度

中 · 待人工复核

  • 存在未解决的相邻类别:compute-hardware,需要人工复核。
  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “Guided by this, we present FourSight, an algorithm-system co-design with two targeted solutions: TIM-aware sequence filtering that excludes drifted trajectories from policy updates, and sparse precision compensation that keeps only top-variance channels in BF16 while retaining native NVFP4 elsewhere.”

来源:arXiv · cs.AI · arxiv.org