arXiv · cs.AI · Changjiang Han, Bowei He, Ye Yuan, Weixu Zhang, Haolun Wu, Xue Liu, Jikun Kang · 9 小时前模型评分40
ResMem：把检索到的知识蒸馏为参数化记忆，存储降低 94.7%
From Lookups to Lessons: Turning Retrieved Knowledge into Parametric Memory
导读
研究者提出 ResMem，让大语言模型（LLM，Large Language Model）离线阅读检索文本生成教师目标，训练参数化记忆学习附加的 logit 残差，从而无需在线检索即可复用知识。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To address this, we introduce ResMem, in which the LLM reads retrieved text offline to generate teacher targets.”
- “Code and model weights are available at this https URL and this https URL .”
来源：arXiv · cs.AI · arxiv.org