跳到正文
arXiv · cs.AI · Javier Porras-Valenzuela, Arush Arora, Alejandro Ribeiro · 4 小时前模型评分38

用可学习图位置编码扩展语言模型的图推理能力

Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings

导读

研究者提出用可学习的图位置编码增强语言推理模型(LRM,Language Reasoning Model),通过图神经网络(GNN,Graph Neural Network)加 Graph Transformer 计算位置编码并调制注意力分数,省去序列化邻接表,把上下文负担降到 O(N)。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “We propose to address this by augmenting LRMs with scalable and permutation equivariant graph positional encodings that modulate attention logits.”

来源:arXiv · cs.AI · arxiv.org