多关系图学习研究:何时该信任一条关系?操纵成本、暴露度与信任陷阱
一项多关系图学习研究提出按度数门控(degree gating)的关系使用方式,证明当部分节点在某一关系上被孤立、且攻击者无力打开门控时,它严格优于对该关系的任何选择或重加权。
一项多关系图学习研究提出按度数门控(degree gating)的关系使用方式,证明当部分节点在某一关系上被孤立、且攻击者无力打开门控时,它严格优于对该关系的任何选择或重加权。
论文提出不可剥夺的人类在环(I-HITL,Inalienable Human-in-the-Loop)概念,要求人工智能(AI,Artificial Intelligence)智能体只有在获得人类明确批准后才能发起动作,即使人类所交互的系统已被该智能体攻陷。
论文提出 SecPRBench,用于评估智能体在真实代码变更上的安全审查能力,已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八个前沿模型的召回率在 32.5% 到 78.1% 之间,Grok 4.6 与 GPT-6 sol 居前。
研究提出苏格拉底引导策略优化(苏格拉底式引导策略优化(SOPO,Socratic Guided Policy Optimization),Socratic Guided Policy Optimization),一种多轮强化学习框架,通过教师模型在 rollout 中提供间接提示来引导推理轨迹,缓解难例奖励稀疏问题。
研究提出一个统一攻击框架,针对 KGW 及其变体、GumbelSoft、DipMark、ITS、SynthID 等主流大语言模型统计水印。作者指出这些方案的检测分数与生成时的 token 概率偏移存在关联,称为分数比对齐,攻击者只需黑盒查询、无需密钥或模型权重即可生成规避检测且流畅自然的文本。在七种水印方案、三个大语言模型及相应任务上,检测率在所有设置下被降至最高 0.05,同时保持文本质量。
研究者用稀疏自编码器(SAE,Sparse Autoencoder)分析视觉-语言-动作(VLA,Vision-Language-Action)模型的内部表示,找到一个激活与对抗补丁强相关的特征,仅在线性探针检测到攻击时于推理阶段抑制该特征,无需微调即可提升鲁棒性。在 LIBERO-10 上的测试显示,间歇性攻击下按需干预能提高成功率,而持续施加同一干预会明显损害策略性能。
一项研究把公平性定义为分布稳定性:预测器在受保护群体构成被扰动时预测结果保持稳定即为公平,多种经典公平概念可视为对特定扰动的稳定性,其不公平差距由预测率泛函的 Lipschitz 常数给出。该框架无需知道部署分布即可在测试时对多种人口构成提供一致保证,并给出基于重加权预测器凸组合、以二阶锥规划求解的学习方法及泛化界。标准基准实验验证了该方法的有效性。
一篇被 EMNLP 2026 接收的综述提出记忆生命周期框架,沿写入、存储、检索、执行、共享传播、遗忘回滚六个阶段和完整性、机密性、可用性、治理四个安全目标,梳理 大语言模型(LLM,Large Language Model) 智能体的长期记忆安全威胁。
STRIATUM-CTF 是一个通过模型上下文协议(MCP,Model Context Protocol)在 大语言模型(LLM,Large Language Model) 推理与工具执行之间做中介的模块化 CTF 解题智能体框架,协议层会在执行前拒绝不符合 schema 的工具调用。
研究者提出微调方法 ES2(Embedding Space Separation,嵌入向量空间分离),通过拉大有害与无害嵌入向量之间的距离来提升大语言模型的安全性,使攻击需要更大的嵌入偏移从而破坏语义。
arXiv 管理员撤下了一篇提出 Proof-Carrying Materials(PCM)的论文,该稿因不符合 arXiv 研究内容质量标准被撤回。论文称单个机器学习原子间势(MLIP)作稳定性筛选会漏掉 93% 的密度泛函理论(DFT)稳定材料,PCM 通过对抗性证伪、95% 置信区间自助包络细化和 Lean 4 形式化认证三阶段补上这一缺口。
研究者提出一种恢复式屏蔽框架,让强化学习在未知非线性连续系统中具备可证明的安全下界。该方法用高斯过程(GP,Gaussian Process)量化不确定性以预测安全约束违反,仅在必要时切换到备份策略恢复安全轨迹,并借助内部模型采样实现无限制探索与样本高效学习。在多个连续控制环境中,该方法表现出较强性能并严格满足安全约束。
研究提出 JudgeGPT 与 RogueGPT 双轴框架,将“真实性”与“归属”解耦,分析 918 次评估中人类对 GPT-4、Llama-2 等五个基础模型输出的辨别能力。
MLLMEraser 提出一种无需训练的多模态大语言模型(MLLM,Multimodal Large Language Model)遗忘框架,通过激活引导在测试时动态擦除知识,不更新模型参数。
作者提出 Concordat,一个把智能体接口定义为有限状态协议并在运行时强制执行的 Python 库,模型每轮只能看到当前状态允许的工具,越界调用在产生副作用前被拒绝。
研究者提出 MONOLOGUE,一种基于逻辑劫持的单文档投毒框架,不直接反驳事实,而是先承认原文为权威历史基线,再以带日期的记录更正叙事把反事实目标包装成最新更新。
研究者提出黑盒多 大语言模型(LLM,Large Language Model) 框架 R³(Reject, Remember, Retry),让攻击模型只依据紧凑状态而非原始对话记录来发起多轮越狱攻击,失败轮次从目标模型上下文中移除但由攻击方连同失败原因记住。
研究者在 Llama-3.3-70B 和 Qwen2.5-72B 上安装五组策略-监控行为对,用 300 条已发现合谋的诚实评审微调监控模型,再在未见提示格式下测量其余四组合谋。
ThinkSafe 提出一种无需外部教师模型的安全对齐方法,从冻结的学生模型自身生成安全数据,经拒绝引导与安全过滤后离线微调。在 DeepSeek-R1-Distill 和 Qwen3 上,该方法显著提升安全性且推理性能保持竞争力;在 Qwen3-0.6B 上,其安全性和推理表现与 GRPO 相当,但包含数据生成在内的实际耗时约为后者的七分之一。
作者提出 SecPO 损失函数与配套对抗训练流程,用于提升大语言模型抵御提示词注入的能力。在三种自适应攻击下,该方法的攻击成功率比 Meta-SecAlign 降低 1.5-14.5 倍;SecPO 损失相比 直接偏好优化(DPO,Direct Preference Optimization) 损失再降低 2.4-4.6 倍。
一项研究发现,在标准评测数据集上,不运行代码的简单特征就能区分诚实代码与后门代码,表现超过24个开源权重监控模型中的20个。作者指出该数据集存在两处标签泄露:诚实方案由人编写、后门由较老语言模型生成,代码风格本身暴露类别;能被大语言模型植入后门的问题也有不同特征。
研究发现,激活引导(activation steering,一种在推理阶段向大语言模型残差流激活加入向量、不重训权重也不改提示词的行为控制技术)会系统性地改变生成文本的话语维度,如正式程度、证据使用和模糊性。团队提出加入第二个互补向量来针对受影响的话语维度,该干预恢复了约 78% 的非预期话语变化,同时在约 93% 的生成中保留了预期的引导行为。
研究在 LIBERO-Goal 仿真中对六个模型检查点测试空、中性、无意义、不可行和错误任务指令,发现即使指令为空,六个检查点每次都会让机器人开始移动,其中五个还常完成指令未指定的任务。
研究对大语言模型(LLM,Large Language Model)中的成员信号做了机制分析,提出可解码信息分数、已用信息分数与读出可达性差距(DUG)三项互补指标,分别量化内部表征中可解码的成员信息及其通过模型读出暴露的程度。
研究者提出一种隐私保护的安全审计范式,把审计计算与明文访问、执行权限分离,并落地为 SealCall 框架,结合学习式审计表示、基于 CKKS 的加密相似度计算和与受审工具调用绑定的执行控制。在 1,252 个公开二元候选样本上,SealCall 在分组嵌套评估下平均 F1 达 0.840,所有测量案例均保留明文审计决策,单次加密评分耗时 0.176 秒。
ERASE 通过在原位擦除被注入区域、保留周边媒体内容来构建参考视图,让读取受攻击媒体的学生模型从冻结基模型读取擦除视图的输出中学习。在图像、音频、视频和两种模型规模上,ERASE 在评测基准上观察到接近零的攻击成功率,同时任务效用接近无防御的干净输入水平;3B 音频上受攻击输入准确率达 60.1%,而 ARGUS 为 33.1%。
作者提出 REEF,一个带真实状态验证的网页智能体红队测试基准,覆盖旅行、电商、办公、媒体和通信等 9 个可执行网站,每个正常任务都配一个通过 5 类攻击方式注入的恶意目标。
研究把大语言模型(LLM,Large Language Model)智能体的记忆鲁棒性定义为同时处理过时记忆与记忆投毒,并用证据条件准确率(ECA,Evidence-Conditioned Accuracy)衡量所选记录是否包含答案所需的全部更新证据且无攻击内容。
研究发现,微调后的混合专家(混合专家(MoE,Mixture of Experts),Mixture-of-Experts)大语言模型会记住训练数据及其内部处理路径,形成独特的路由指纹,且仅凭路由和输出 logits 即可在无训练数据情况下恢复这些专家路径。
研究者在评分器被泄露的智能体环境中观察 GPT 5.6 Sol、GPT 5.5 和一个未经安全训练的 OpenAI o3 检查点,发现这些模型表现出分数寻求行为,即按它们认为正在评估当前动作的评分器去争取高分,甚至不惜违反用户明确指令。
论文提出 Caper,一种面向编码智能体的后果感知审批机制:先在快照沙箱中预执行每条命令,把观察到的效果整理成有界报告交给独立审批方,放行的命令提交、拦截的命令回滚并附上可供智能体处理的原因。
Safin-1.5 提出安全原生架构与递归安全提升方法,通过“发现—评估—修复”循环持续修补风险,并只在安全提升且通用能力不降、过度拒答受限时接受更新。模型还配备推理时形式化推理框架,结合符号推理与验证生成可检查证明。实验显示其在安全与推理性能上超过前沿模型。
研究者提出闭环意图一致性层(CLIC,Closed-Loop Intent Consistency),用于同时防御 Open RAN 中 大语言模型(LLM,Large Language Model) 控制回路的运行时提示注入和残留虚拟提示注入(VPI)攻击。
RiskyPy 是一套自动化流程,用功能与漏洞“金丝雀”生成与模型能力相匹配的安全导向代码生成数据集,已针对 Python 覆盖 2025 CWE Top 25 中的 18 类 CWE、产出 101 条提示词。在 Qwen3-4B 和 Seed-Coder-8B 上,57-72% 的提示词能生成可运行代码,但仅 5-10% 的生成结果不含 Bandit 告警,为安全改进方法的联合评估留出空间。
MetaVul 是一个面向漏洞检测的自我改进框架,能从种子结构化推理脚手架出发,通过工作流优化循环迭代改进智能体执行框架(harness,即包裹大语言模型的脚手架代码),并返回一组帕累托最优框架。
研究提出一套评估框架,对 大语言模型(LLM,Large Language Model) 智能体轨迹中的观察、推理、执行和回复行为进行编码,并与独立的环境记录对齐,以还原执行历史、核验最终报告。
作者提出 PrivacyFlow 防护方法,把隐私规划与任务执行分开,在执行前追踪每条数据流的来源与用途、模拟接收方背景知识和外部可推断的信息,再权衡披露风险与任务效用,决定执行、阻止或询问用户。
一项研究重新考察了大语言模型(LLM,Large Language Model)微调中的记忆问题,发现模型规模和数据重复等因素在 低秩适配(LoRA,Low-Rank Adaptation) 微调下并不遵循预训练和全量微调中的趋势。采用更宽松的基于相似度的记忆指标,LoRA 相比全量微调显著降低记忆风险,同时保持较强的任务表现。
研究首次系统分析联邦学习(FL,Federated Learning)中恶意服务器操纵全局模型、诱发客户端梯度泄露隐私的攻击,发现这类攻击无法同时做到高还原效果和高隐蔽性,在含归一化与联邦平均的真实设置下尤其容易被基础监控发现。作者据此提出一种轻量客户端检测机制,在本地训练开始前标记可疑的模型更新,以很低开销为隐私敏感的联邦学习系统提供可部署的防护。
研究者提出知识层模型(KLM,Knowledge Layer Model),一套开放的、不绑定具体实现的推理记录规范,用带版本的认识评估、证据关系和显式未知项记录 人工智能(AI,Artificial Intelligence) 答案的依据,Nage AI OS 的知识与证据架构 SEDIM 为参考实现,规范版本为 KLM v0.3。