跳到正文
arXiv · cs.AI · Wenjie Huang, Jun Zhang, Hongyaoxing Gu, Haoyang Huang, Tianqi Xu, Xinyue Hao, Xinyi Hu, Xinle Du, Jun Dai, Shuang Ge, Chen Lei, Yue Li, Mingcheng Wan · 6 小时前模型评分24

Raincheck:面向多轮多模态大模型推理的延迟预填充框架

Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference

导读

论文提出 Raincheck 框架,将多模态大语言模型(MLLM,Multimodal Large Language Model)多轮对话的初始 token 选择与后续信息可用性解耦,利用解码阶段的闲置算力按原文顺序逐步预填充被剪枝丢弃的 token。

分类置信度

中 · 待人工复核

  • 只有单一媒体来源,需要人工复核。

来源级别:媒体与个人

事件类型:研究发布

证据摘录

  • “This paper has been withdrawn by Wenjie Huang”
  • “Withdrawn at the authors' request pending completion of the required corporate disclosure and publication approval process”

来源:arXiv · cs.AI · arxiv.org