研究团队将 大语言模型(LLM,Large Language Model)-SC 框架适配至帕斯帕提那神庙评论抽取
研究团队把 大语言模型(LLM,Large Language Model)-SC 框架适配到尼泊尔帕斯帕提那神庙,在 GPT-4o 提示词中定义 12 类实体、4 类关系和 9 个方面-情感维度,处理 2,500 条英文 Tripadvisor 评论。
研究团队把 大语言模型(LLM,Large Language Model)-SC 框架适配到尼泊尔帕斯帕提那神庙,在 GPT-4o 提示词中定义 12 类实体、4 类关系和 9 个方面-情感维度,处理 2,500 条英文 Tripadvisor 评论。
研究团队提出 DialFork 基准,用于在原始对话文本上评测对话智能体的流程幻觉,即单句流畅可信但偏离既定对话流程的失败模式。该基准通过在受控轮次位置分叉合规对话并注入四类幻觉构建,覆盖 12 个领域 24 项任务共 36,278 段对话,由 30 名人工标注者验证。
SYNTRA 是一个自改进的智能体数据合成框架,能把少量检索示例转化为可复用的合成指令,自动生成嵌入模型训练数据。在覆盖 15 个领域的 24 个数据集上,同一套合成流程对已有或无标注训练集的强嵌入模型均有增益;自改进在全部 6 项评测任务上增强监督效果,其中 4 项检索表现优于人工校准。在 MS MARCO 上,合成训练数据规模扩大 32 倍时检索增益仍持续。
研究者发布TamilEOT,据称是首个面向南印度语言的语义轮次结束检测开放数据集与检测器,含116通真实泰米尔语电话对话中的18,485个标注轮次边界。在30通未见通话的4,168个片段上,准确率从零样本70.30%提升至83.71%(8.7 MB)和86.13%(21 MB),ROC-AUC从0.751升至0.921,两个模型在笔记本CPU单线程下运行均低于150毫秒。
研究提出一个基于统一 copula 理论的互信息估计基准框架,将现有基准作为特例纳入,并设计 copula-first 与 marginals-first 两类互补测试,覆盖合成数据、流式变换和真实图像数据。对非参数、变分和生成式三类估计器的评测显示没有通用赢家,每类都能在特定设置下系统性胜出。作者据此定位基本估计障碍,并开源代码。
研究团队推出首个统一表格数据基准 BeyondArena,覆盖 IID、时序和分组任务,并配套数据集整理框架 DataFoundry。在 11 个模型、142 个数据集上的测试显示,开源表格基础模型在 10 万行以内数据上具备竞争力,但分组或大规模数据仍由传统树模型和深度学习模型主导。
研究团队提出 Sparkle 数据集,包含约 140K 对视频,覆盖五类常见背景更换主题,并配套发布目前规模最大的背景替换评测基准 Sparkle-Bench。该数据集通过解耦生成前景与背景引导并严格质量过滤,解决了现有数据中背景静态、不自然的问题,在其上训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上均显著优于现有基线。数据集、基准、模型及完整数据生成流程已全部开源。
研究团队基于 Rust 原生图数据库 Samyama 构建开放可复现的生物医学知识图谱生态,将 22 张图谱合并为含 328,130,739 个节点、1,441,425,733 条边的单一存储,全部快照加载耗时 2,269.1 秒。
研究团队推出手术视频问答数据集与基准 SUREON,用对抗猜测模型过滤掉不看画面也能答对的题目,含 76K 训练问答对、覆盖 168 种手术,另有 340 道经外科专家核验的测试题。
Speech-DRAME 框架包含双语人工标注基准 Speech-DRAME-EvalBench 和微调的音频语言评测器 DRAME-Eval,用于评估语音角色扮演中的韵律、情感表达与角色贴合度。
研究者提出 VisualSphinx,一个大规模合成视觉逻辑推理训练数据集,通过“规则到图像”的合成流程从种子题目提取并扩展谜题规则、生成可执行的渲染程序来组装谜题。
一项研究让三个模型家族把 2000 篇新闻改写成摘要和故事,逐项比对五个 W(即事件的人物、时间、地点、原因、方式)上的变化,并判断每处失真是否由指定视角合理带来,结果有三分之一被排除。
研究团队提出 AutoAnalysis,一个可自动更新的人机协作元分析系统,最新一次运行综合了 420 篇论文的 1,955 个效应量。结果显示,人机组合平均显著优于人类单独工作,但显著弱于人类或 人工智能(AI,Artificial Intelligence) 中表现更好的一方。作者指出,这区分了提升人类表现与实现人机协同,评估协作时应同时对照人类单独和 AI 单独的表现。
CoFailMed 审计了医疗分割预训练编码器池的相关性失效,在五个 2D 任务上评估 11 个公开预训练编码器,发现共享检查点的模型对逐例 Dice 相关性最高。
一项研究发现,在标准评测数据集上,不运行代码的简单特征就能区分诚实代码与后门代码,表现超过24个开源权重监控模型中的20个。作者指出该数据集存在两处标签泄露:诚实方案由人编写、后门由较老语言模型生成,代码风格本身暴露类别;能被大语言模型植入后门的问题也有不同特征。
OT-CAL 是一种自适应数据选择方法,用难度、可学习性、不确定性等五个特征描述样本,并通过最优传输匹配按样本与当前课程向量的接近程度分配选择权重,课程向量随所选样本更新形成自适应反馈回路。在三个标准视觉学习基准上,每批选择 50% 样本时,OT-CAL 比 AdaSelection 提升 1.3–2.1 分,训练速度达到全量数据训练的 1.18–1.24 倍。
ProSearch 是面向实验科学的多约束协议检索基准,含 6 个领域共 1,515 条查询,每条查询带 3-5 个显式约束。19 个代表性检索器中最佳模型平均 nDCG@10 仅 0.290,加入重排序后提升至 0.474。该基准已被 NeurIPS 2026 的 Evaluations and Datasets Track 接收,代码与数据均已公开。
研究团队推出图像编辑评测基准 WeGenEditBench,包含 2,740 个评测实例和 148 种任务类型,覆盖单图、文本密集和多参考图编辑,用预生成检查清单把每个请求拆成原子要求并逐项扣分。
ROSTrans 基准用 108 个任务评测大语言模型把 ROS1 代码迁移到 ROS2 的能力,任务来自 70 多个开源仓库,按接口、行为和系统三级正确性划分。六个前沿模型 pass@1 均低于 10.9%,56.5% 的样本编译成功却在运行时失败。执行引导修复三轮后,Claude Opus 4.6 和 GPT-5.5 的任务成功率分别升至 49.1% 和 47.2%。
WebOverlay 提出一种纯视觉网页浮层检测器,通过从前沿视觉语言教师模型蒸馏训练,无需解析 DOM 树即可识别 cookie 同意横幅、订阅提示等遮挡内容。它采用动态分块策略把极端宽高比的整页渲染切成保持宽高比的重叠图块,并配合宽高比感知的边界判定机制消除拼接伪影。该方法吞吐量比大型专有多模态模型高数个数量级,部署成本大幅降低,精度与召回率仍具竞争力。
研究团队用 7B 参数世界模型以野生动物无人机视频为种子生成画面,将训练集扩充一倍以上,在真实数据中加入这些帧后 mAP@50--95 提升 4.3%,替换真实数据时提升 10.3%,城市基准上最高提升 33.5%。
研究者构建了科学推理基准 EDB-Bio,从药物扰动转录组学、CRISPR 筛选和人类全基因组关联分析(GWAS,Genome-Wide Association Studies)三个生物学领域的真实数据中整理出 96k 个任务,要求模型预测目标假设为真的概率。
RiskyPy 是一套自动化流程,用功能与漏洞“金丝雀”生成与模型能力相匹配的安全导向代码生成数据集,已针对 Python 覆盖 2025 CWE Top 25 中的 18 类 CWE、产出 101 条提示词。在 Qwen3-4B 和 Seed-Coder-8B 上,57-72% 的提示词能生成可运行代码,但仅 5-10% 的生成结果不含 Bandit 告警,为安全改进方法的联合评估留出空间。
研究者提出因果图评分方法 CausalGrade,基于概率判断模型 Jev,结合观测数据的关联、条件依赖与方向性证据以及因果发现基础模型 CDFM 给出的边概率,对候选因果图打分。
研究者提出 TradeWar 基准,把大语言模型(LLM,Large Language Model)智能体的多轮贸易谈判对话转成具体关税与贸易份额政策,在结算中施加产能与网络约束,并用经济健康指数(EHI,Economic Health Index)评估执行结果。
Sensorium 是一个开源 Python 库,可基于机器人操作系统(ROS,Robot Operating System)及 ROS2 中间件,从可配置的机器人与传感器数据流中录制、处理、标注和整理多模态手术数据。研究团队在 1516 次体模、离体和活体猪实验中评估了该库,并给出了初步可用性反馈。
研究团队开发了一套基于数据挖掘与机器学习的方法,通过学习者在技术增强学习(TEL,Technology-Enhanced Learning)系统中的交互轨迹识别低自我效能信念。团队在两所大学开展实验,收集交互轨迹与自我效能自评数据,并构建包含多个分类模型的机器学习流程。结果显示,由于自我效能信念在学习过程中高度动态变化,密切监测它有助于提升预测性能。
研究团队提出五种文本数据选取策略,用大语言模型(LLM,Large Language Model)为数据虚拟化服务(DVS,Data Virtualization Service)中的虚拟数据集自动生成关键词,并用三种 LLM 生成器和两种嵌入向量技术做了实验。
研究团队提出审计协议 ReuScope,并以 Capsule Vision 2024 为案例检测数据复用与评估敏感性。该数据集公开训练集与验证集间存在字节完全相同文件,41 段 Kvasir-Capsule 录像的帧同时出现在两个分区;移除相关训练数据后,公开验证集平衡准确率从 82.5% 降至 61.2%,但在其他来源验证行上反而提升 1.38 个百分点。
RECAST 提出一种基于重建的框架,仅凭问题和目标模型的最终答案,就能重建第一人称结构化推理过程,并清理成可直接用于监督微调(受监督微调(SFT,Supervised Fine-Tuning),Supervised Fine-Tuning)的数据。
研究团队发布 Re3Culture 数据集,用 700 多名来自四种文化的参与者、社区成员选出的文化敏感场景和 1,400 多份价值问卷,为文化价值对齐提供基于真实人群的目标依据。分析发现,替换文化或缩小亚群体覆盖都会改变价值估计,大语言模型模拟也偏向特定亚群体;抽象问卷画像难以还原具体情境中的价值优先级,价值优先级应显式询问,而不能只从回答偏好中学习。
CryoAtlas 发布冷冻电镜原子模型构建的大规模精选数据集与统一基准,整合截至 2026 年 3 月的 EMDB 和 PDB 条目,提供 17,809 条地图-模型-序列条目,其中训练集 16,657 条。
研究团队提出 RECITE 框架,可从方案修订文档中自动发现、抽取并落实有证据支持的入组标准修订,并基于 5,735 项试验构建了 11,913 条配对数据集。
研究团队提出 MarketImage 诊断框架,用 266 组六图对比集和保留平局的价格-人类排序协议,检验交易价格何时反映视觉偏好。结果显示仅 24.2% 图像对有非平局价格方向,其中 34.7% 与人类多数一致,HPSv2 在该区域以 66.4% 可恢复准确率领先。作者认为交易价格只能作为不确定的代理信号,而非真实偏好标准。
SERIAL-7 是一个韩英双语基准,用可执行验证框架检验大语言模型在七种表示上的机器可验证生成,包含 177 个经校验的规范产物和 43 条原子表示约束。它把任务拆成语义推导、受限产物生成和跨表示保持三步,并逐级加严检查格式、结构与任务语义。在十个模型上,REALIZE-L3 的 HSR 从 42.0% 到 93.9%,完全合规检查还暴露出最终答案正确、表示合法之外的产物级失败。
SciGraphSelect 提出一种基于知识-推理图的可审计科学数据筛选框架,通过概念覆盖、关系与路径共支撑及方向对齐为候选文档打分。该框架将领域知识、可复用推理操作和参考文献佐证的关系组织为带类型图,并公开每次筛选背后的证据,使科学训练语料的上游构建过程可追溯。
研究团队发布印地语 人工智能(AI,Artificial Intelligence) 生成文本检测基准 SHAKTI,覆盖四种文体、八个大语言模型(LLM,Large Language Model)家族及多种提示策略与对抗变换。
研究者提出一条人在回路的发现流程,把程序演化、精确评估、数学推广、不存在性验证与形式化证明检查结合起来,用于寻找纠缠辅助量子纠错码(EAQECC,Entanglement-Assisted Quantum Error-Correcting Code)。
研究者提出 ImplicitHop 基准,包含形式化图基准和基于真实知识图谱的知识组合基准,用于评估大语言模型(LLM,Large Language Model)在不同推理深度下的演绎推理与知识整合能力。测试显示,无论知识来自预训练权重还是上下文,准确率都随组合长度增加而急剧下降,但上下文提供的信息明显优于权重中编码的信息。该结果量化了当前模型在提示词控制智能体行为和持续学习方面的根本局限。
研究团队推出 FrontierMat 基准,包含 330 道来自航空航天、半导体、具身智能和核聚变等前沿研究与工业实践的问题,每题均由领域实验专家验证。最强通用模型仅得 53.7%,跨尺度推理题比单尺度题低 8.7 分,一半题目最多只有一个模型能解出。采用元加权持续预训练与尺度模块化自蒸馏的领域适配方法,可将开源模型从 36.7% 提升至 55.4%,追平最强闭源模型。