arXiv · cs.AI · Weixiang Zhao, Zhihao Liu, Guancheng Li, Yanyan Zhao, Bing Qin, Ting Liu · 11 小时前模型评分56
论文发现预测式安全护栏并不总能让 大语言模型（LLM，Large Language Model） 智能体更安全
Predictive Safety Guardrails Do Not Always Make LLM Agents Safer
导读
一篇 arXiv 论文系统诊断了预测式安全护栏从预测到行动的链路，发现更强的预测参与并不带来单调的安全收益，还可能降低任务完成率并明显增加推理成本。研究覆盖七个策略模型和两个安全环境，发现世界模型预测在更长的时间跨度上可靠性明显下降。论文还发现，即使预测被破坏，安全收益仍可能存在，而经过局部验证的预测之后仍会出现安全违规，说明预测内容没有被忠实纳入决策过程。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this work, we systematically diagnose the prediction-to-action pipeline along three dimensions: how world-model predictions are integrated into decision making, whether the predictions themselves are reliable, and whether their content is faithfully used.”
来源：arXiv · cs.AI · arxiv.org