arXiv · cs.AI · Carlos Hartmann · 5 小时前模型评分40
研究对比 大语言模型（LLM，Large Language Model） 与人类对“they”的数词消歧能力，Kimi K3 准确率达 94.5%
Who is the Pronoun Pro? Comparing LLMs and Humans at Number-Disambiguation of 'they'
导读
一项研究让 73 名人类标注者与 40 多种大语言模型（LLM，Large Language Model）配置对 Reddit 上 174 个真实“they”用例做数词消歧，最佳模型 Kimi K3 准确率 94.5%，高于人类多数投票的 86.2%。研究还给出成本与耗时证据，并指出低一致性案例中人类推理能暴露标注分类体系的不一致，说明 LLM 可用于大规模语言学标注，但需人类把关。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别：foundation-models，需要人工复核。
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
应用领域：科学研究
事件类型：研究发布
证据摘录
- “This study evaluates whether large language models (LLMs) can reliably replace or complement human research assistants in linguistically complex annotation.”
- “The dataset with its gold-standard labels, all human and LLM annotations, and the fully reproducible code are openly available as a Quarto-based, public repository.”
来源：arXiv · cs.AI · arxiv.org