LEAP：用可泛化长度预测实现高效 大语言模型（LLM，Large Language Model） 推理调度

研究者提出长度预测系统 LEAP，复用服务模型预填充阶段的隐藏状态，通过线性读出提取输出长度信号，并在测试时用递归最小二乘法在线更新，无需梯度计算或历史数据回放。跨域迁移实验中，在线适配使 Spearman 相关系数提升 64.7%；服务实验中，相比所评估的长度预测器，LEAP 将平均每 token 延迟降低 15.9–40.8%，吞吐量提高 1.9%，预测器参数量少 30,569 倍。