arXiv · cs.AI · Sicong Li, Qianqian Xu, Zhiyong Yang, Zitai Wang, Longtao Huang, Xiaochun Cao, Qingming Huang · 5 小时前模型评分37
ToPA：用分块 Toeplitz 矩阵实现更表达力、更高效的微调
ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning
导读
研究者提出参数高效微调方法 ToPA，用分块 Toeplitz 矩阵替代低秩或稀疏结构来更新权重，避免显式秩与稀疏约束，并缩短乘法链以稳定训练。理论上分块 Toeplitz 矩阵乘积在更短链长下即可逼近任意矩阵，表达力强于现有低秩和稀疏参数化。该方法在 5 种模型架构、21 个 NLP 与 CV 数据集上验证了有效性。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To address this issue, we propose \textbf{ToPA}, a more refined version of this idea that replaces standard Toeplitz matrices with block-wise Toeplitz, greatly increasing each factor's capacity and shortening the chain, thereby stabilizing training and improving expressiveness.”
来源：arXiv · cs.AI · arxiv.org