跳到正文
arXiv · cs.AI · Dipto Sumit, Syeda Fabiayee Jahan, Farig Sadeque · 11 小时前模型评分47

跨章节问答数据集 CrossChapterQA 与无图 检索增强生成(RAG,Retrieval-Augmented Generation) 系统 LadderRAG 发布

Reading Between the Chapters: A Graph-Free RAG Rebuilt With AI and Human Feedback

导读

研究者构建了 CrossChapterQA,包含 14 本公版书上的 1,853 个跨章节问题,每题标注所需 2 至 6 个章节及关联关系。基于该数据集设计的 LadderRAG 以约 0.41 美元索引一本书、单题回答成本不足一美分,经四次重构后在其初版答错的 191 题上把所需章节召回率从 0.36 提升到 0.79。十名标注者对其回答的平均评分为 6.5/10(共 764 次评分)。

生成六维分析
分类置信度

中 · 待人工复核

  • 存在未解决的相邻类别:ai-tooling,需要人工复核。
  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We introduce CrossChapterQA, 1,853 such questions over 14 public-domain books.”
  • “which indexes a book as passages, summaries and book-level cards for about $0.41 and answers a question for under a cent”

来源:arXiv · cs.AI · arxiv.org