ImplicitHop基准评估大模型知识整合

Alexander Detkov 等提出 ImplicitHop 基准，用形式化图任务和基于真实知识图谱的知识组合任务，评估大语言模型在不同推理深度下的演绎推理与知识整合能力。测试显示，无论知识来自预训练权重还是上下文，准确率都随组合长度增加而急剧下降；上下文提供的信息明显优于权重中编码的信息。 研究称，这一结果量化了当前模型在提示词控制智能体行为和持续学习方面的根本局限。

AI 根据报道生成 · 5 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。