arXiv · cs.AI · Keisuke Kamahori, Rohan Kadekodi, Garv Ghai, Wei-Tzu Lee, Atindra Jha, Stephanie Wang, Arvind Krishnamurthy, Baris Kasikci · 7 小时前模型评分43
VoxServe：面向语音语言模型的流式服务系统
VoxServe: Streaming-Centric Serving System for Speech Language Models
导读
VoxServe 是一个面向语音语言模型（SpeechLM）的流式服务系统，按音频块的紧急程度分配 图形处理器（GPU，Graphics Processing Unit） 资源，将主干模型与编解码器分置于三条异步通道并行执行。在 Qwen3-TTS 上，它以 200ms 首音频延迟（TTFA）为目标，请求吞吐达到现有最佳系统的 1.5 倍且无播放卡顿。代码已开源。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “Based on this insight, we present VoxServe, a SpeechLM serving system that allocates GPU resources according to the urgency of chunks.”
- “The code of VoxServe is available at this https URL .”
来源：arXiv · cs.AI · arxiv.org