arXiv · cs.AI · Kyle Lemoi, Jonathan Yong, Shubhankar Tripathy, Priestley Fernandes, Anirban Majumder, Zarreen Reza · 9 小时前模型评分28
用 Jacobian Lens 加权的 J-BI 改进 Transformer 深度剪枝
Output-Aware Block Influence: Jacobian-Lens Weighting for Depth Pruning
导读
研究提出 J-BI 剪枝评分，在 Block Influence（BI）基础上用 Jacobian Lens（J-Lens，将某层扰动映射到最终残差流的神经工具）做加权，在相同稀疏度下对 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 剪枝后准确率最高比 BI 提升 19 分，并减轻困惑度损失。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “At a common sparsity level, pruning scores applying J-Lens transportation to $BI$, what we call $J-BI$, were found to improve post-pruning accuracy by up to 19 points over $BI$ while reducing damage to perplexity for Qwen3-8B, Llama-3.1-8B-IT, and Gemma-3-12B-IT.”
来源：arXiv · cs.AI · arxiv.org