三项预注册研究考察评测框架对长寿调优语言模型的修复效果
作者围绕一个冻结的长寿调优 1.7B 模型开展三项预注册研究，检验评测框架（harness，指包裹模型、负责调用与解析输出的评测流程）带来的增益是否超过固定答案。
#评测/基准
arXiv · cs.AI模型评分5555 arXiv · cs.AI模型评分4545 CogBattery：用人类认知任务评测语言模型的行为与结构
CogBattery 在 13 个认知范式的文本改编任务上评测了 54 个开放权重语言模型，并与各原始研究中的人类数据对照。模型和人类一样对 n-back 诱饵更敏感，但在普通非目标上误报远多于人类，多数模型的置信度区分正误的能力弱于人类，且无论分类是否准确都倾向选择同一赌注。研究还发现模型得分可归结为两个维度，其中一个与规模密切相关，但更大的模型并不总是更接近人类。
arXiv · cs.AI模型评分4646 研究：置信度分数能否判断 文本转结构化查询语言（text-to-SQL，Text to Structured Query Language） 答案正确性？基于 BIRD 与 Spider 的探索性研究
一项研究审计了生产级对话分析系统中置信度分数的设计，在 BIRD dev 的 1,534 道题上由 GPT-5.1 每题采样五次作答，该分数区分对错的能力较弱（AUROC 0.624），并会扣留 35.7% 的正确答案。
arXiv · cs.AI模型评分5555 研究发现人工智能（AI，Artificial Intelligence）评估器偏好特定AI模型撰写的求职申请，与候选人质量无关
一项多模型审计研究将11个大语言模型（LLM，Large Language Model）写作智能体与9个应用程序编程接口（API，Application Programming Interface）托管的评估智能体在10个职位描述、每个职位50名候选人上交叉配对，发现评估器对写作模型存在一致的偏好排序，且本地部署模型无论许可证如何都系统性处于劣势。
arXiv · cs.AI模型评分4444 TetraState：面向学习型世界模型的回归测试协议，单一判定不够用
研究者提出 TetraState 回归测试协议，针对成对的可实现/不可实现视频测试，在四种模型原生配置下运行并给出四类结果，同时把测试框架本身纳入版本管理。
arXiv · cs.AI模型评分4646 测试时搜索何时真正帮到世界动作模型？Cosmos Policy 与 RoboCasa 的候选选择与仿真器完整性审计
一项预注册审计在 Cosmos Policy 和 RoboCasa 上检验测试时搜索的三项前提：学习型价值选择器比随机选择差 1.66 个百分点，事后最优选择仅提升 1.40 个百分点，82% 的状态下候选结果完全相同。
arXiv · cs.AI模型评分5252 研究用 722 份联合国安理会记录和五项测试量化大语言模型的国家倾向
研究团队用 722 份联合国安全理事会（UNSC，United Nations Security Council）官方记录，对 GPT-4o-mini、Llama 3.3-70B、Mistral-22B-Small 和 Qwen3-30B 四款大语言模型（LLM，Large Language Model）做国家倾向评测，并首次为每项测试明确设定无偏基准。
arXiv · cs.AI模型评分3535 CPA：反事实成对增强提升小型逐点 大语言模型（LLM，Large Language Model） 评判器
研究者提出反事实成对增强（CPA，Counterfactual Pairwise Augmentation），为每个逐点样本合成并审核一条同查询、标签相反的反事实回答，把接受的样本对转为成对任务，与逐点数据联合微调后仍以逐点模式部署。
arXiv · cs.AI模型评分4444 帕累托自适应压缩（PACE，Pareto-Adaptive Compression for Efficient Native MLLMs）：用重复人工评分预测代理优化下的人类收益曲线
研究者提出 帕累托自适应压缩（PACE，Pareto-Adaptive Compression for Efficient Native MLLMs）（Proxy Alignment and Curvature Expansion），一种优化前诊断方法，利用重复人工评分预测固定代理目标带来的人类感知收益曲线，将局部收益近似为 A√d+Bd。
arXiv · cs.AI模型评分4444 音频大语言模型多模态语音情感识别的不一致感知评估
研究提出一种无需阈值的连续“不一致分数”，用双分量高斯混合把文本与音频在效价-唤醒-支配空间中的距离量化，并用人类判断验证。在 eNTERFACE'05、MELD 和 CMU-MOSEI 三个语料上评估三款音频能力模型后发现，只要音频存在，不一致就会提高出错几率，而同样特征训练的监督分类器表现相反。代码、数据表和提示词已公开。