arXiv · cs.AI · Fei Wang, Baochun Li · 11 小时前模型评分45
研究：低秩适配（LoRA，Low-Rank Adaptation） 微调比全量微调显著降低大语言模型记忆泄露风险
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
导读
一项研究重新考察了大语言模型（LLM，Large Language Model）微调中的记忆问题，发现模型规模和数据重复等因素在 低秩适配（LoRA，Low-Rank Adaptation） 微调下并不遵循预训练和全量微调中的趋势。采用更宽松的基于相似度的记忆指标，LoRA 相比全量微调显著降低记忆风险，同时保持较强的任务表现。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this work, we re-examine memorization in fine-tuning and uncover a surprising divergence from prior findings across different fine-tuning strategies.”
来源：arXiv · cs.AI · arxiv.org