arXiv · cs.AI · Matthew McDermott, Florent Pollet, Payal Chandak, Gregory Kondas, Liat Friedman Antwarg, Noa Dagan, Isaac Kohane · 10 小时前模型评分31
研究者提出"任意任务推理"基础模型的形式化理论框架
A Theoretical Framework for Understanding and Building "Any-task inference" Capable Foundation Models
导读
研究者为具备"任意任务推理"（ATI，any-task inference）能力的基础模型给出形式化数学定义，将其界定为直接把数据样本和任务映射为标签预测的模型。该框架证明这类模型可经"通用任务归约"分解为编码器、模型和解码器三部分，并据此把模型误差拆成设计项与已实现模型超额项。作者还提出生成式与判别式两类实现配方，并用 5 个真实基础模型案例验证定义的适用性。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “In this work, we provide a formal framework and mathematical definition for the subset of foundation models focused on enabling the property of "any-task inference" (ATI) (similar to zero-shot inference), rather than those designed for pre-training fine-tuning.”
来源：arXiv · cs.AI · arxiv.org