arXiv · cs.AI · Hung-Chun Lin, Ting-Wei Hsu, Chung-En Ho, Ahmed Saeed · 9 小时前模型评分41
ARK：为分离式 大语言模型（LLM，Large Language Model） 推理的 键值缓存（KV cache，Key-Value Cache） 传输规避路由冲突
ARK: Avoiding Routing Collisions for KV Cache Transfer in Disaggregated LLM Inference
导读
ARK 是一种分布式大象流路径预留机制，通过协调发送方选择源端口，把并发流的哈希映射到不同 spine 上，避免无状态 ECMP 的哈希冲突，且无需改动交换机或接收端重排数据包。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We present ARK, a distributed elephant-flow path reservation mechanism.”
来源：arXiv · cs.AI · arxiv.org