arXiv · cs.AI · Wenjie Huang, Jun Zhang, Hongyaoxing Gu, Haoyang Huang, Tianqi Xu, Xinyue Hao, Xinyi Hu, Xinle Du, Jun Dai, Shuang Ge, Chen Lei, Yue Li, Mingcheng Wan · 6 小时前模型评分24
Raincheck:面向多轮多模态大模型推理的延迟预填充框架
Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference
导读
论文提出 Raincheck 框架,将多模态大语言模型(MLLM,Multimodal Large Language Model)多轮对话的初始 token 选择与后续信息可用性解耦,利用解码阶段的闲置算力按原文顺序逐步预填充被剪枝丢弃的 token。
分类置信度
中 · 待人工复核
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “This paper has been withdrawn by Wenjie Huang”
- “Withdrawn at the authors' request pending completion of the required corporate disclosure and publication approval process”
来源:arXiv · cs.AI · arxiv.org