跳到正文
arXiv · cs.AI · Peter Chen, Ni Zhang, Siyuan Zhang · 5 小时前模型评分54

预注册双领域实验:验证器强度不提升 大语言模型(LLM,Large Language Model) 自动化研究的发现质量

Verifier strength does not buy discovery quality: a pre-registered two-domain test of LLM-based automated research, with post-hoc evidence pointing to proposer-pool composition

导读

一项预注册的双领域实验检验了“验证器越强、发现质量越高”这一假设,在作业车间调度和基于北京 T-Drive 轨迹的车载边缘卸载两个真实数据领域各做 100 组匹配的 大语言模型(LLM,Large Language Model) 与随机对照,并设置三档验证器。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “Under a pre-registered protocol we test this bet in two real-data domains -- job-shop scheduling and vehicular edge offloading on Beijing T-Drive trajectories -- across 100 matched LLM/random pairs per domain and three verifier tiers.”
  • “Criteria, ledgers and scripts are archived on Zenodo (DOI: https://doi.org/10.5281/zenodo.23308866 ).”

来源:arXiv · cs.AI · arxiv.org