检测与抑制:针对 VLA 模型对抗补丁的机制性防御
研究者用稀疏自编码器(SAE,Sparse Autoencoder)分析视觉-语言-动作(VLA,Vision-Language-Action)模型的内部表示,找到一个激活与对抗补丁强相关的特征,仅在线性探针检测到攻击时于推理阶段抑制该特征,无需微调即可提升鲁棒性。在 LIBERO-10 上的测试显示,间歇性攻击下按需干预能提高成功率,而持续施加同一干预会明显损害策略性能。
研究者用稀疏自编码器(SAE,Sparse Autoencoder)分析视觉-语言-动作(VLA,Vision-Language-Action)模型的内部表示,找到一个激活与对抗补丁强相关的特征,仅在线性探针检测到攻击时于推理阶段抑制该特征,无需微调即可提升鲁棒性。在 LIBERO-10 上的测试显示,间歇性攻击下按需干预能提高成功率,而持续施加同一干预会明显损害策略性能。
研究在 LIBERO-Goal 仿真中对六个模型检查点测试空、中性、无意义、不可行和错误任务指令,发现即使指令为空,六个检查点每次都会让机器人开始移动,其中五个还常完成指令未指定的任务。