LEAP：复用预填充隐藏状态预测输出长度
热点事件持续更新
LEAP：复用预填充隐藏状态预测输出长度
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
研究者提出 LEAP 长度预测系统：复用服务模型预填充阶段的隐藏状态，经线性读出预测输出长度，并用递归最小二乘法在线更新；跨域迁移中在线适配使 Spearman 相关系数提升 64.7%。预测与更新在 CPU 异步执行，与剩余 GPU 预填充重叠，无需梯度计算或历史数据回放。 服务实验中，相比所评估的长度预测器，LEAP 将平均每 token 延迟降低 15.9–40.8%，吞吐量提高 1.9%，预测器参数量少 30,569 倍。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
LEAP：用可泛化长度预测实现高效 大语言模型（LLM，Large Language Model） 推理调度报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · cs.AILEAP：用可泛化长度预测实现高效 大语言模型（LLM，Large Language Model） 推理调度
研究者提出长度预测系统 LEAP，复用服务模型预填充阶段的隐藏状态，通过线性读出提取输出长度信号，并在测试时用递归最小二乘法在线更新，无需梯度计算或历史数据回放。跨域迁移实验中，在线适配使 Spearman 相关系数提升 64.7%；服务实验中，相比所评估的长度预测器，LEAP 将平均每 token 延迟降低 15.9–40.8%，吞吐量提高 1.9%，预测器参数量少 30,569 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。