arXiv · cs.AI · Zeqiu Yu, Xuesheng Zhang, Wenxiao Zhao, Shixiao Wang · 4 小时前模型评分39
LHM：面向高效长到短推理的低秩分层合并方法
Low-Rank Hierarchical Merging for Efficient Long-to-Short Reasoning
导读
研究者提出免训练框架低秩分层合并（LHM，Low-Rank Hierarchical Merging），用低秩 Hessian 近似、层二阶敏感度（LSOS）指标和双约束系数映射（DCCM）替代线性插值与一阶激活统计，实现长链式推理模型到短输出的合并。在 1.5B 和 7B 模型、六个数学基准上，LHM 比 ACM-TIES、ORCA 等方法准确率提升超 4%，输出长度最多缩短 93.1%。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose Low-Rank Hierarchical Merging (LHM), a training-free framework that replaces heuristic statistics with lightweight second-order curvature information.”
来源：arXiv · cs.AI · arxiv.org