arXiv · cs.AI · Minsoo Cheong, Sungjoo Yoo · 3 小时前模型评分39
LoopVQ：面向循环 Transformer 的亚 1-bit 键值缓存（KV cache，Key-Value Cache） 量化
LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
导读
LoopVQ 是一种针对循环 Transformer 的 键值缓存（KV cache，Key-Value Cache） 向量量化方法，在 0.5 bit/元素下优于面向标准大语言模型的现有 KV Cache 量化方法，与 TaSQ 结合后在 0.25 bit/元素仍保留大部分 BF16 精度。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：ai-tooling，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Based on these observations, we propose $\textbf{LoopVQ}$, a KV cache vector quantization method for looped transformers that codes channels of multiple loop steps jointly, and fine-tunes the codebooks to match the output of the full-precision model.”
- “At 0.5 bits per element, LoopVQ outperforms existing KV cache vector quantization methods for standard LLMs on general, long chain-of-thought reasoning, and long-context retrieval tasks with Ouro and Huginn models.”
- “combined with TaSQ, it retains much of the BF16 accuracy even at 0.25 bits per element.”
来源：arXiv · cs.AI · arxiv.org