arXiv · cs.AI · Abdellah Rahmani, Sean McLeish, Ang Li, Sanae Lotfi, Pascal Frossard, Micah Goldblum · 11 小时前模型评分52
Library of Layers：在推理时动态排列 Transformer 层
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
导读
论文提出 Library of Layers（LoL）架构，在推理时按当前问题动态排列 Transformer 层，而不是像现有语言模型那样固定层序。LoL 只有一个超参数，即全局 Transformer 模块库的大小，可在参数复用与稀疏之间切换，统一覆盖稠密、深度循环和混合专家三类架构的效率取舍。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We introduce Library of Layers (LoL), an architecture that dynamically orders its layers during inference to solve the problem at hand.”
来源：arXiv · cs.AI · arxiv.org