arXiv · cs.AI · Bowen Xu, Boyu Chen · 8 小时前模型评分55
三项预注册研究考察评测框架对长寿调优语言模型的修复效果
What Does a Harness Repair? Three Preregistered Studies Around a Longevity-Tuned Language Model
导读
作者围绕一个冻结的长寿调优 1.7B 模型开展三项预注册研究,检验评测框架(harness,指包裹模型、负责调用与解析输出的评测流程)带来的增益是否超过固定答案。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
应用领域:医疗与生命科学
事件类型:研究发布
证据摘录
- “We preregistered three studies and report every endpoint.”
- “v3 adds a third preregistered study (SmolLM3-3B and base Qwen3-1.7B on BoolQ, FPB and MMLU-Pro; Autocast exploratory) and a check of the selected harness texts, and withholds row-like passages that v1 and v2 printed.”
来源:arXiv · cs.AI · arxiv.org