arXiv · cs.AI · Juseok Jeon, Ramy E. Ali, Doyun Kwon, Myungbeom Her, Jinhwi Kim, Jinhyun So · 11 小时前模型评分33
FedPA-低秩适配（LoRA，Low-Rank Adaptation）：缓解异构联邦 LoRA 聚合与初始化误差的乘积对齐框架
FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA
导读
FedPA-LoRA 提出乘积对齐框架，同时缓解联邦低秩适配（LoRA，Low-Rank Adaptation）在异构秩下的聚合误差与初始化误差，并给出同构、异构秩的收敛界。客户端跨轮保留本地因子以消除初始化误差，服务器在乘积空间聚合异构秩更新并重建秩受限的全局适配器。在自然语言理解与生成任务上，异构秩下 GLUE 平均准确率提升 6.82 个百分点，代码已开源。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose FedPA-LoRA, a product-aligned framework that addresses both mismatches and establishes convergence bounds for homogeneous and heterogeneous ranks.”
- “The code is available at this https URL .”
来源：arXiv · cs.AI · arxiv.org