论文提出Transformer注意力圆锥规划认证理论
热点事件持续更新
论文提出Transformer注意力圆锥规划认证理论
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Masoud Ataei 发表论文，提出 Transformer 注意力认证的圆锥规划理论。论文称，认证难点不在 softmax，而在变化查询与键的双线性交互；该交互使箱约束下的认证为 NP-hard。 其指数锥矩松弛可按扰动半径的平方界定单头误差，且该阶数不可改进；在 GPT-2 上，该证书在每个头上都比线性界传播更紧。
AI 根据报道生成 · 3 小时前更新
最新进展11月3日 13:00
Transformer 注意力机制的圆锥规划认证理论报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- arXiv · cs.AITransformer 注意力机制的圆锥规划认证理论
研究者提出注意力认证的圆锥规划理论，证明认证难点不在 softmax，而在变化查询与键的双线性交互，该交互使箱约束下的认证为 非确定性多项式时间困难（NP-hard，Nondeterministic Polynomial-time Hard）。指数锥矩松弛可按扰动半径的平方界定单头误差，且该阶数不可改进。在 GPT-2 上，该证书在每个头上都比线性界传播更紧。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。