arXiv · cs.AI · Bhushit Nema, Siddharth Krishnamurthy, Anjali Kadiyala · 9 小时前模型评分44
小语言模型压缩技术交互研究：因子消融实验揭示 INT8 量化近乎无损
Compression Technique Interactions in Small Language Models: A Factorial Ablation Study
导读
一项因子消融实验在四个 2.7B-7B 参数的小语言模型上评估了 72 种压缩配置，发现 INT8 量化精度损失低于 0.5%，而 NF4 量化结合 L1 幅度剪枝在全部 16 种组合中导致模型崩溃。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present a factorial ablation study evaluating 72 compression configurations across four SLM architectures (2.7B-7B parameters), extended with a 48-configuration ordering analysis, benchmark accuracy validation on 30 compressed models, and robustness checks including multi-seed validation and full-corpus perplexity evaluation.”
来源：arXiv · cs.AI · arxiv.org