arXiv · cs.AI · Nicholas Barnfield, Subhabrata Sen, Pragya Sur · 10 小时前模型评分37
多层交叉注意力被证明是多模态上下文学习的最优解
Multi-layer Cross-attention is Provably Optimal for Multi-modal In-context Learning
导读
研究提出一个可数学分析的框架，证明单层自注意力模型无法在任务分布上一致地恢复贝叶斯最优预测器，而新引入的线性化交叉注意力机制在层数和上下文长度都很大时，经梯度流优化可证明达到贝叶斯最优。该结果凸显深度对上下文学习的作用，并确立交叉注意力在多模态分布中的可证明价值。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce a mathematically tractable framework for studying multi-modal learning and explore when transformer-like architectures can recover Bayes-optimal performance in-context.”
来源：arXiv · cs.AI · arxiv.org