arXiv · cs.AI · Wenyi Wu, Zixuan Song, Kun Zhou, Yifei Shao, Zhiting Hu, Biwei Huang · 2 天前模型评分41
CoMEM：为视觉语言模型构建通用连续记忆
Towards General Continuous Memory for Vision-Language Models
导读
研究者提出 CoMEM，让视觉语言模型（VLM，Vision-Language Model）充当自身的连续记忆编码器，把任意多模态、多语言知识压缩为仅 8 个连续嵌入向量。该方法只需微调 1.2% 的模型参数、使用 15.6K 条自合成样本，推理时原模型保持冻结，记忆模块即插即用。在八个多模态推理基准上，这一设计验证了其有效性。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In contrast, we propose using continuous memory, a compact set of dense embeddings to more effectively and efficiently represent multimodal and multilingual knowledge.”
- “requiring only 1.2% of the model's parameters and a small corpus of 15.6K self-synthesized samples”
- “Since the inference-time VLM remains frozen, our memory module is plug-and-play and can be flexibly integrated as needed.”
来源：arXiv · cs.AI · arxiv.org