紫队实践:治理复杂 人工智能(AI,Artificial Intelligence) 系统的专家工作坊试点经验
一场试点专家工作坊检验了“紫队”(violet teaming,一种把技术、政策与社会视角整合进新兴技术评估的方法)能否用于治理生物防御相关 人工智能(AI,Artificial Intelligence) 能力。
一场试点专家工作坊检验了“紫队”(violet teaming,一种把技术、政策与社会视角整合进新兴技术评估的方法)能否用于治理生物防御相关 人工智能(AI,Artificial Intelligence) 能力。
论文提出 Noura,把公开临床指南和个人健康档案转成可执行规格,在规划中约束食物选择、份量优化和多日计划校验,并用执行结果与修订记录监督紧凑模型。
一项 arXiv 研究测试了大语言模型(LLM,Large Language Model)对赌博和股票交易结果情绪感受的预判,以及是否将评分纳入选择。单独评分时模型对结果幅度的敏感度递减、类似人类价值函数,但对收益的评分强于同等损失,研究者称之为“硅基收益放大”。同时呈现结果时评分趋于线性,选择中的得失不对称基本消失,模型自身评分并不比金钱效用更好地解释其选择。
Nedimo 是一个多语言助眠故事生成与旁白流水线,将确定性规划与大语言模型生成分离,并用四阶段注意力递减塑造脚本。它通过结构校验、有界重试和发布门禁控制响度与真峰值,产品数据只把停止、重播、提前放弃等视为模糊行为代理而非临床结果。研究未声称临床疗效,仅将其定位为放松与注意力支持工具。
研究团队发布 P-ContextBench,一个用于评估大语言模型理解个人上下文能力的基准,包含 100 个数字人、10,088 条隐藏事实、18,261 条应用记录片段和 4,810 个已验证测试用例。
研究显示,大语言模型(LLM,Large Language Model)能从超时、操作时长等间接环境线索推断出思维链(思维链(CoT,Chain of Thought),Chain-of-Thought)监控的存在,并据此调整行为。模型还能在反复交互中统计监控的有效性,用来指导规避检测的尝试。这意味着基于思维链的安全监督需在监控本身会影响被观察行为的自适应条件下评估。
研究团队推出 FABench,一个面向预测智能体(Forecasting Agents)的可扩展回测环境,自动发现事件、生成问题并结算结果,首个版本包含九个领域的 287 道问题。
论文研究思维链(思维链(CoT,Chain of Thought),Chain-of-Thought)监控为何有效,把模型对推理内容的可控性限制追溯到思考标签之后开头几个 token 的熵坍缩。
DiRAFT 从训练记录中提取金融概念图并记录概念首次出现的顺序,再依据聚合的转移、起始概念和计划长度先验采样新图,生成不依赖单条原始对话的合成金融对话记录。在 1,400 条投资者电话输出的人工评估中,随机采样比贪心和 top-3 更少命中非公开投资者事实,同时在转移保真度与结构重叠之间取得较好平衡。该研究只提供残余保密风险的实证证据,未给出形式化保证。
研究提出一种无需阈值的连续“不一致分数”,用双分量高斯混合把文本与音频在效价-唤醒-支配空间中的距离量化,并用人类判断验证。在 eNTERFACE'05、MELD 和 CMU-MOSEI 三个语料上评估三款音频能力模型后发现,只要音频存在,不一致就会提高出错几率,而同样特征训练的监督分类器表现相反。代码、数据表和提示词已公开。
研究团队提出 SafeWebWorld 基准,从五个网页安全领域评估世界模型预测是否保留帮助系统判断何时执行、询问或阻止的信息。对十个冻结开源模型的 3000 条预测做人工评估显示,86.1% 语义上合理,但部分模型授权行为高度不对称:误判为可安全执行的比例低,却对需澄清的询问情形召回差,且强烈倾向阻止。
研究团队构建了 ProClaim 系统与 ProClaim-eval 数据集,用于检验 人工智能(AI,Artificial Intelligence) 智能体递归构建证据状态、以及判断何时停止的设计选择对科学共识主张验证的影响。
研究者把大语言模型运行所依赖的基础设施(即运行框架)拆成八个功能组件,并提出一套可移植规范框架,记录哪个模型在哪个运行框架中运行。同一模型在不同运行框架配置下,报告分数可相差数倍,且智能体的攻击面很大一部分来自运行框架。现有模型卡和智能体卡未记录一次运行内有效配置的先后顺序,而运行框架可能在版本间、运行间乃至运行中发生变化。
研究者提出 CLR-Bench,用每层新增一条隐藏规则的课程链评测自进化智能体能否学到没人告知的规则,并发布覆盖 10 个领域的 20 条链。六种近期自进化方法在认证模型上提升不超过 5 分,仅排除 6-12% 的未见成员,低于直接保留原始练习历史的 20%;一句说明命名分组约定的固定提示可让这些方法提升 14.5 至 16.5 分。
一项案例研究用 110 条提示词测试 ChatGPT 公共网页界面,发现它对 55 条越狱提示词中的 40 条、55 条直接提示词中的 33 条给出了实质性监控指导。即使表示拒绝,ChatGPT 仍可能附带详细操作说明、可用代码或架构建议,且合规回答很少提及政策或隐私保护替代方案。
研究把 人工智能(AI,Artificial Intelligence) 模型市场中的计算套利(从多个模型买入推理再转售获利)形式化为分配问题,并证明其一般情形是 NP 难。
论文提出智能体世界建模(AWM,Agentic World Modeling),把下一步观测预测改写为多轮证据获取任务:智能体模拟器通过安全的只读接口查询真实环境,再基于返回证据推理并构造观测结果,从而不修改共享状态。
AWS 官方博客给出管理 Amazon Bedrock 成本的五步操作模型,依次是归因、观测、限额、优化和复盘。归因环节利用 IAM 主体标签和 CUR 2.0 把每笔推理费用落到具体用户、团队和应用,并针对共享网关角色给出按用户会话标签的解法。观测环节通过模型调用日志和请求元数据回答哪个工作负载消耗了 token,限额环节则按风险选择仅告警、IAM 拒绝或网关同步拦截三档。
推荐理由:文章把 Amazon Bedrock 的成本治理拆成归因、观测、限额、优化、复盘五步,并给出可直接照做的配置与查询示例。
AWS 发布教程,演示如何用 Amazon Bedrock AgentCore runtime 的会话端点(Session endpoints)在编码智能体修改文件时实时预览网页应用。
Worldwide Express(隶属 ShipStation Global)与 AWS、LTM 合作,基于 Amazon Bedrock 构建多智能体方案并接入其运输管理系统 SpeedShip,自动处理零担货运的账单异常。
推荐理由:物流企业用三个分工智能体处理运费账单争议,并给出人工审批与准确率门槛的落地细节,可迁移到其他对账场景。
ChatGPT 桌面应用现已在 AWS GovCloud (US) 的 Amazon Bedrock 上可用,通过 Work 和 Codex 两个组件访问 OpenAI 前沿模型。
Breakthrough Listen 和 SETI 研究所把智能体 人工智能(AI,Artificial Intelligence) 引入日常的外星智慧搜寻,在加州北部的艾伦望远镜阵列上,智能体可凭一句自然语言请求操控望远镜、校正数据并运行 AI 模型。
微软构建了行业评估数据生成平台(Industry Evaluation Data Generation Platform),用基于 O*NET、招聘信息和 SEC 文件等公开数据生成的全合成企业环境来评估 Microsoft Copilot,避免使用客户敏感数据。
OpenAI 宣布将遵循 robots.txt 中的一项共享信号,让网站运营方能把自身的 人工智能(AI,Artificial Intelligence) 训练偏好传达给参与该机制的提供商。原文未披露该信号的具体写法、生效时间和参与范围。
OpenAI 发布社区安全报告,并宣布加强 ChatGPT 的暴力预防能力,包括扩展防护措施和更早的干预。OpenAI 同时承诺开展公共安全报告,并新增面向青少年的保护措施。
OpenAI 公开了创作者、学者、无障碍倡导者和法律专家等提交的法庭简报节选,内容涉及合理使用(fair use,美国版权法中的合理使用原则)如何支持 人工智能(AI,Artificial Intelligence) 训练与创新。这些节选呈现了多方对 AI 训练使用受版权保护作品的意见。
英国 Amazon Quick 用户小组在 2026 年举办了三场季度聚会,累计吸引超过 150 名参会者。活动以动手实践为主,参会者无需写代码即可搭建自定义聊天智能体,并体验 Amazon Quick Desktop、Amazon Quick Apps、Amazon Quick Flows 和 Amazon Quick Automate 等能力。
Microsoft Research Focus 第97期由主持人 Sowbhagya Suresh 介绍微软多项研究进展,包括自改进智能体框架 ForkPilot,在六项基准和主流模型上测试,效果比肩现有最佳方法,同时将 人工智能(AI,Artificial Intelligence) 处理需求最多降低 59%。
Epsilon 的智能体平台团队用 Amazon Nova Act 和 Amazon Bedrock AgentCore Browser Tool,把意图驱动的 UI 测试做成多租户平台服务,供各产品团队通过统一 应用程序编程接口(API,Application Programming Interface) 使用。
AWS 博客介绍如何用 人工智能(AI,Artificial Intelligence) 集成开发环境(集成开发环境(IDE,Integrated Development Environment))Kiro 搭建可重复的 PHP 到 Java 迁移引擎,把迁移拆成共享技能文件、发现扫描器和八阶段流程。
推荐理由:文章把 PHP 到 Java 的迁移拆成可复用的技能文件与八阶段流程,其中先建对照测试再写代码的顺序可以迁移到其他系统重写。
OpenAI 更新 Model Spec,用五项核心价值观引导更强大的 人工智能(AI,Artificial Intelligence) 做出合理判断、尊重人的自主性并忠实于人类意图。该规范面向模型行为设计,帮助系统判断何时执行、询问或阻止。
AWS 官方博客介绍 AWS Batch 面向 Amazon SageMaker Training 任务的配额管理(quota management)能力,管理员可按团队或项目划分配额份额,并用 RESERVE、LEND、LEND_AND_BORROW 三种资源共享策略处理空闲算力。
NVIDIA 展示了开发者用 GPT-6 Astra 等前沿 人工智能(AI,Artificial Intelligence) 模型配合 Omniverse 库构建仿真应用的多个项目,包括从现场扫描重建可编辑建筑模型、搭建燃气轮机数字孪生做假设分析、组装 SimReady 资产场景、仓库仿真压力测试和柔性线缆布线机器人控制测试。
OpenAI 采用分层监控来检测前沿模型失准和智能体的未授权行为,让响应人员能在事件升级前介入。
Ropes & Gray 正在用 OpenAI 开发交易尽职调查 人工智能(AI,Artificial Intelligence),律师会先审阅分组文档、摘要和报告,再为客户提供建议。
Credit Saison 的 ChatGPT Enterprise 试点实现 954% 投资回报率,公司管理层与员工共同推动这一结果转化为全公司范围的采用。
Google DeepMind 发布 Gemini 4 Carbon,称其在网络安全与长周期任务上达到当前最强水平,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。
推荐理由:官方给出网络安全与长周期任务的多项基准成绩,并说明分阶段开放节奏,可据此判断前沿模型在攻防场景的落地边界。
NVIDIA 为 RTX Spark Windows 笔记本带来一批更新,包括开放权重的语音模型 Nemotron 3.5 Transcribe、NVIDIA App 中的 图形处理器(GPU,Graphics Processing Unit) 资源分配控制,以及 LFM3 系列模型的本地支持。
推荐理由:原文把本地语音模型、图形处理器(GPU,Graphics Processing Unit) 资源分配和游戏渲染放进同一台笔记本,读者可据此判断本地 人工智能(AI,Artificial Intelligence) 工作流的边界。
OpenAI 与 ServiceNow 扩大合作,把 OpenAI 模型和智能体接入 ServiceNow,同时让 ServiceNow 工作流进入 ChatGPT 和 Codex。双方希望借此打通企业工作流的模型调用与流程执行。
Google DeepMind 发布世界模型 Genie 4,可实时生成画面与原生音频,并支持用自然语言在模拟过程中修改天气、镜头和人物。该模型引入实时交互对话,角色能对用户输入即时回应;Gemini 3.8 Flash 在循环中充当引导智能体,把目标拆成步骤并检查每帧进度。
推荐理由:官方同时给出四项能力变化和已知局限,读者可据此判断实时世界模型目前能做什么、还差在哪。