arXiv · cs.AI · An Nguyen, Anh Tong · 5 小时前模型评分37
SaMA:通过 Kronecker 积非对称扩展实现形态自适应
SaMA: Morpho Adaptation via Asymmetric Expansion of Kronecker Product
导读
论文提出参数高效微调方法 SaMA(Scalable Morpho Adaptation),通过放宽 Kronecker 积完美洗牌分解中的共享块约束,使有效秩随参数预算平方增长并可达满秩,同时其不变流形收缩为对角群,对自适应优化器更友好。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “In this paper, we propose Scalable Morpho Adaptation (SaMA), a PEFT method grounded in a principled generalization of the Kronecker product.”
来源:arXiv · cs.AI · arxiv.org