跳到正文
arXiv · cs.AI · Sihao Wang, Bozheng Li, Xuemiao Xu, Haoxin Yang, Yujie Xu, Jie Tang · 4 小时前模型评分31

LIRA:面向低秩适配的可解释动态损失感知秩分配方法

LIRA: A More Interpretable Dynamic Loss-Informed Rank Allocation for Low-Rank Adaptation

导读

研究者提出动态秩 低秩适配(LoRA,Low-Rank Adaptation) 方法 LIRA(Loss-Informed Rank Allocation),通过二阶近似估计各层 LoRA 因子近期变动带来的局部损失扰动幅度来给每层打分,使每次秩调整的依据可逐项解释。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “Motivated by this gap, we propose LIRA (Loss-Informed Rank Allocation), a dynamic-rank LoRA method designed to make online rank reallocation more interpretable.”

来源:arXiv · cs.AI · arxiv.org