arXiv · cs.AI · Shivam Adarsh, Hetianyu Huang, Lau Safin, Maria Maistro, Christina Lioma · 10 小时前模型评分45
研究：激活引导会改变大语言模型话语层面，可用第二向量干预修复
When Steering Shifts Discourse: Identifying and Intervening on Discourse-Level Changes due to Activation Steering in LLMs
导读
研究发现，激活引导（activation steering，一种在推理阶段向大语言模型残差流激活加入向量、不重训权重也不改提示词的行为控制技术）会系统性地改变生成文本的话语维度，如正式程度、证据使用和模糊性。团队提出加入第二个互补向量来针对受影响的话语维度，该干预恢复了约 78% 的非预期话语变化，同时在约 93% 的生成中保留了预期的引导行为。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this work, we show that steering systematically produces significant changes in discourse dimensions of the generated text, such as its formality, use of evidence, and ambiguity.”
- “This intervention restores about 78% of the unintended discourse changes while preserving the intended steering behavior in about 93% of the generations.”
来源：arXiv · cs.AI · arxiv.org