arXiv · cs.AI · Qiyao Liang, Risto Miikkulainen, Ila Fiete · 10 小时前模型评分45
语言模型元认知失败的电路基础：干扰与模型幻觉
The Circuit Basis of Metacognitive Failure in Language Models: Interference and Hallucination
导读
一项 arXiv 研究通过 低秩适配（LoRA，Low-Rank Adaptation） 适配器在 Transformer 的 MLP、QK、VO 组件上微调合成事实，分析语言模型在知识冲突与知识缺失下出错的原因。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We study two situations that lead to such errors, knowledge conflict, where the context contradicts a fact stored in the weights and the two sources interfere, and missing knowledge, where the fact was never learned and the model hallucinates.”
来源：arXiv · cs.AI · arxiv.org