arXiv · cs.AI · Rui Wang, Yan Zhao, Li Song, Zhengxue Cheng · 5 小时前模型评分36
LLMCodec：用视频编解码器压缩大语言模型权重
LLMCodec: Adapting Video Codecs for Efficient Weight Compression of Large Language Models
导读
LLMCodec 提出用视频编解码器压缩大语言模型权重，将仿射量化与 VVC/H.266 视频编解码器结合，无需微调或校准数据。在 LLaMA-3-8B 的 2-bit 精度下，该方法相比现有方法将困惑度降低超过 1.5 倍，下游任务准确率提升 21%。研究还比较了多种视频编解码器与编码配置对压缩性能的影响。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Therefore, we present LLMCodec, a video codec-based LLM compression method that integrates affine quantization with the recent VVC/H.266 video codec.”
来源：arXiv · cs.AI · arxiv.org