研究提出J-BI深度剪枝评分,较BI最高提升19分
热点事件持续更新
研究提出J-BI深度剪枝评分,较BI最高提升19分
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Kyle Lemoi等作者提出 J-BI 深度剪枝评分:在 Block Influence(BI)基础上,用 Jacobian Lens(把某层扰动映射到最终残差流的工具)加权,用于 Transformer 深度剪枝。 作者报告称,在相同稀疏度下,对 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 剪枝后,J-BI 的准确率最高比 BI 提升 19 分,并减轻困惑度损失。
AI 根据报道生成 · 3 小时前更新
最新进展11月3日 13:00
用 Jacobian Lens 加权的 J-BI 改进 Transformer 深度剪枝报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv · cs.AI用 Jacobian Lens 加权的 J-BI 改进 Transformer 深度剪枝
研究提出 J-BI 剪枝评分,在 Block Influence(BI)基础上用 Jacobian Lens(J-Lens,将某层扰动映射到最终残差流的神经工具)做加权,在相同稀疏度下对 Qwen3-8B、Llama-3.1-8B-IT 和 Gemma-3-12B-IT 剪枝后准确率最高比 BI 提升 19 分,并减轻困惑度损失。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。