跳到正文
热点事件持续更新

研究:Kimi K3代词消歧准确率超人类多数投票

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Carlos Hartmann 发布一项对比研究:让 73 名人类标注者与 40 多种大语言模型配置,对 Reddit 上 174 个真实“they”用例做数词消歧。表现最佳的模型 Kimi K3 准确率为 94.5%,高于人类多数投票的 86.2%。 研究还给出各方案的成本与耗时数据,并指出在人类标注一致性低的案例中,人类的推理过程暴露出标注分类体系本身存在不一致。研究据此认为,LLM 可用于大规模语言学标注,但仍需人类把关。 带金标准标签的数据集、全部人类与模型标注以及可复现代码,已作为 Quarto 公共仓库公开。

AI 根据报道生成 · 4 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv · cs.AI
    研究对比 大语言模型(LLM,Large Language Model) 与人类对“they”的数词消歧能力,Kimi K3 准确率达 94.5%

    一项研究让 73 名人类标注者与 40 多种大语言模型(LLM,Large Language Model)配置对 Reddit 上 174 个真实“they”用例做数词消歧,最佳模型 Kimi K3 准确率 94.5%,高于人类多数投票的 86.2%。研究还给出成本与耗时证据,并指出低一致性案例中人类推理能暴露标注分类体系的不一致,说明 LLM 可用于大规模语言学标注,但需人类把关。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月4日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。