arXiv · cs.AI · Yuntao Dai, Hang Gu, Teng Wang, Qianyu Cheng, Yifei Zheng, Zhiyong Qiu, Lei Gong, Wenqi Lou, Xuehai Zhou · 10 小时前模型评分45
ActionFlow:面向边缘端视觉语言模型的流水线动作加速框架
ActionFlow: A Pipelined Action Acceleration for Vision Language Models on Edge
导读
ActionFlow 是一个面向资源受限边缘平台的系统级推理框架,通过跨请求流水线调度把 VLA 模型推理拆成微请求宏流水线,将访存密集的解码阶段与计算密集的预填充阶段跨时间步批量执行。在 OpenVLA-7B 上无需重训练即实现 2.55 倍 FPS 提升,使边缘硬件具备实时动态操作能力。
分类置信度
中 · 待人工复核
- 存在未解决的相邻类别:embodied-ai,需要人工复核。
- 只有单一媒体来源,需要人工复核。
来源级别:媒体与个人
事件类型:研究发布
证据摘录
- “To bridge this gap, we introduce ActionFlow, a system-level inference framework tailored for resource-constrained edge platforms.”
- “Experimental results demonstrate that ActionFlow achieves a 2.55x improvement in FPS on the OpenVLA-7B model without retraining, enabling real-time dynamic manipulation on edge hardware.”
来源:arXiv · cs.AI · arxiv.org