提出LoopVQ：循环Transformer KV缓存量化
热点事件持续更新
提出LoopVQ：循环Transformer KV缓存量化
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Minsoo Cheong 与 Sungjoo Yoo 提出并实现 LoopVQ，一种面向循环 Transformer 的 KV 缓存向量量化方法，联合编码多个循环步的通道，并微调码本以匹配全精度模型输出。 作者称，在 0.5 bit/元素下，LoopVQ 在 Ouro 和 Huginn 模型的通用、长链式推理及长上下文检索任务上，优于面向标准 LLM 的现有 KV 缓存向量量化方法；与 TaSQ 结合后，在 0.25 bit/元素下仍保留大部分 BF16 精度。
AI 根据报道生成 · 47 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · cs.AILoopVQ：面向循环 Transformer 的亚 1-bit 键值缓存（KV cache，Key-Value Cache） 量化
LoopVQ 是一种针对循环 Transformer 的 键值缓存（KV cache，Key-Value Cache） 向量量化方法，在 0.5 bit/元素下优于面向标准大语言模型的现有 KV Cache 量化方法，与 TaSQ 结合后在 0.25 bit/元素仍保留大部分 BF16 精度。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。