arXiv · cs.AI · Basavaraj R M, Manav Verma2026-11-04 13:00 · 4 小时前模型评分26

零初始化门控交叉注意力 IGCA：为冻结语言模型注入多模态能力

Zero-Gated Cross-Attention

导读

研究者提出零初始化交叉注意力桥接方案 Inductively Gated Cross-Attention（IGCA），在初始化时对冻结模型完全无影响，输出最大偏差为 0.00e+00，随后逐步引入多模态条件。

分类置信度

中 · 待人工复核

来源级别：媒体与个人

事件类型：研究发布

证据摘录

“We introduce Inductively Gated Cross-Attention (IGCA), a zero-initialized cross-attention bridge that preserves pretrained model behavior at initialization while enabling gradual multimodal conditioning.”

来源：arXiv · cs.AI · arxiv.org