arXiv · cs.AI · Mingchuan Ma, Dongqi Cai, Daqian Yang, Zhenyan Lu, Chen Chen, Teresa Lv, Yan Gao, Shangguang Wang, Mengwei Xu, Nicholas D. Lane, Yu Huang · 10 小时前模型评分43
ZO-Curv：用闲置推理算力加速 大语言模型（LLM，Large Language Model） 预训练
Accelerating LLM Pretraining with Zeroth-Order Curvature on Idle Serving Compute
导读
研究者提出 ZO-Curv，利用闲置的仅前向推理设备估计曲率，再用曲率信息调整一阶训练更新，从而加速大语言模型（LLM，Large Language Model）预训练。在 125M 至 1.5B 参数模型上，该方法稳定提速：770M 参数模型达到 AdamW 的 20K 步验证损失只需 3.9 小时，而 AdamW 需 7.5 小时，且相同步数预算下最终损失为 2.70 对 2.84。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：compute-hardware，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Based on this insight, we propose ZO-Curv, which leverages idle forward-only devices to estimate curvature and uses it to adapt and refine the update used during first-order training, thereby accelerating the process.”
来源：arXiv · cs.AI · arxiv.org