Transformer 注意力机制的圆锥规划认证理论

研究者提出注意力认证的圆锥规划理论，证明认证难点不在 softmax，而在变化查询与键的双线性交互，该交互使箱约束下的认证为 非确定性多项式时间困难（NP-hard，Nondeterministic Polynomial-time Hard）。指数锥矩松弛可按扰动半径的平方界定单头误差，且该阶数不可改进。在 GPT-2 上，该证书在每个头上都比线性界传播更紧。