arXiv · cs.AI · Arda Uzunoglu, Mahler Revsine, Michael Schatz, Benjamin Van Durme, Mehrdad Farajtabar, Daniel Khashabi, Eric Nalisnick · 11 小时前模型评分50
研究揭示大语言模型科学发现能力与训练数据中单次事实率的关系
Tracing the Scientific Discovery Capacity of LLMs to Their Training Data
导读
研究将大语言模型的科学发现能力追溯到训练数据，提出“单次事实”（训练中仅出现一次的事实）决定发现能力的理论解释。在材料科学与调控基因组学中直接调整训练集的单次事实率后发现，单次事实越多，两个开源权重模型系列的发现越多，且该关系无法仅用训练集多样性解释。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：科学研究
事件类型：研究发布
证据摘录
- “We study this question as one of missing probability mass and develop a theoretical account in which monofacts-the facts observed once during training-set the discovery capacity.”
来源：arXiv · cs.AI · arxiv.org