预注册研究:harness增益未超固定答案
热点事件持续更新
预注册研究:harness增益未超固定答案
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Bowen Xu等作者发布三项预注册研究,审计冻结的长寿调优1.7B模型上harness搜索的增益来源;作者称,评测框架(harness,包裹模型、负责调用与解析输出的评测流程)带来的增益未超过固定答案,三项研究均已预注册并报告所有终点。 v3新增第三项预注册研究,覆盖SmolLM3-3B与基础Qwen3-1.7B在BoolQ、FPB和MMLU-Pro上的测试,Autocast为探索性;同时检查所选harness文本,并撤回v1、v2中逐行式段落。
AI 根据报道生成 · 3 小时前更新
最新进展11月2日 13:00
三项预注册研究考察评测框架对长寿调优语言模型的修复效果报道时间线
沿着报道,了解事件的不同侧面。
11月2日
- arXiv · cs.AI三项预注册研究考察评测框架对长寿调优语言模型的修复效果
作者围绕一个冻结的长寿调优 1.7B 模型开展三项预注册研究,检验评测框架(harness,指包裹模型、负责调用与解析输出的评测流程)带来的增益是否超过固定答案。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。