arXiv · cs.AI · Jean Lucien Randrianantenaina, Hung Nguyen, Nasib Ullah, Jinbin Zhang, Nilesh Gupta, Inderjit S. Dhillon, Rohit Babbar · 10 小时前模型评分35
ETAPS：面向大语言模型极端稀疏度的高效渐进剪枝方法
Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity
导读
研究者提出 ETAPS，通过分阶段收紧全局稀疏约束、并以固定小预算训练稀疏增量，在 125M 到 13B 参数的六个模型上，50% 至 90% 稀疏度下困惑度均低于 ELSA，最高降低 42%。在 90% 稀疏度下剪枝 LLaMA2-7B 仅需单张 H200，而 ELSA 需四张，持久状态小 5.0 倍、图形处理器（GPU，Graphics Processing Unit） 小时少 49%。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To address this gap, we propose ETAPS, which prunes gradually and adapts sparsely: it tightens a global sparsity constraint in progressive stages while training a sparse delta with a small, fixed budget.”
来源：arXiv · cs.AI · arxiv.org