arXiv · cs.AI · Yitong Zhang, Shiteng Lu, Jia Li · 6 小时前模型评分60
语法约束解码可被利用越狱大语言模型生成恶意代码
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
导读
论文提出 CodeSpear 攻击，发现仅施加良性的代码语法约束就能越狱大语言模型并诱导其生成恶意代码。在 10 个主流大语言模型和 4 个基准上，CodeSpear 平均将攻击成功率提升 30 个百分点以上，超过代表性越狱基线。作者同时提出安全对齐方法 CodeShield，让模型在语法约束下生成语义无害的蜜罐代码，从而在保持正常用途的同时恢复安全性。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：foundation-models，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We uncover a new jailbreak attack, termed CodeSpear, that exploits GCD to induce LLMs into generating malicious code.”
来源：arXiv · cs.AI · arxiv.org