研究提出新词接种提示NIP
热点事件持续更新
研究提出新词接种提示NIP
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
David Demitri Africa 和 Cameron Holmes 提出新词接种提示(NIP):用一个在冻结模型上训练、部署时移除的新 token 替代英文接种提示,使模型的有害行为无法再被用户用提示词重新诱发。 研究称,NIP 在抑制奖励黑客等行为上优于其他接种方法,虽更简单却与梯度路由表现相当,但对谄媚和骚扰行为无效;其机制是把有害行为藏在模型输入无法触及的区域,而非将其删除。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
新词接种提示(NIP):用新 token 隐藏前沿模型的有害行为报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv · cs.AI新词接种提示(NIP):用新 token 隐藏前沿模型的有害行为
研究提出新词接种提示(NIP,Neologism Inoculation Prompting),把原本用英文写明的接种提示替换为一个在冻结模型上训练、部署时移除的新 token,从而让用户无法再用提示词重新诱发奖励黑客等不良行为。NIP 效果优于其他接种方法,虽更简单却与梯度路由表现相当,但对谄媚和骚扰行为无效。分析显示其机制是把有害行为藏在模型输入无法触及的区域,而非将其删除。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。