跳到正文
arXiv · cs.AI · David Demitri Africa, Cameron Holmes · 4 小时前模型评分44

新词接种提示(NIP):用新 token 隐藏前沿模型的有害行为

Neologism Inoculation Prompting

导读

研究提出新词接种提示(NIP,Neologism Inoculation Prompting),把原本用英文写明的接种提示替换为一个在冻结模型上训练、部署时移除的新 token,从而让用户无法再用提示词重新诱发奖励黑客等不良行为。NIP 效果优于其他接种方法,虽更简单却与梯度路由表现相当,但对谄媚和骚扰行为无效。分析显示其机制是把有害行为藏在模型输入无法触及的区域,而非将其删除。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We introduce neologism inoculation prompting (NIP), which replaces the English prompt with a new token that is trained on the frozen model and removed at deployment.”

来源:arXiv · cs.AI · arxiv.org