arXiv · cs.AI · Zhongkai Yu, Haotian Ye, Chenyang Zhou, Ohm Rishabh Venkatachalam, Zaifeng Pan, Zhengding Hu, Junsung Kim, Won Woo Ro, Po-An Tsai, Shuyi Pei, Yangwook Kang, Yufei Ding · 10 小时前模型评分44
AMMA：面向低延迟百万级上下文注意力服务的多芯粒内存中心架构
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
导读
研究团队提出多芯粒内存中心架构 AMMA，用 HBM-PNM 立方体替代 图形处理器（GPU，Graphics Processing Unit） 计算裸片，将可用内存带宽提升约一倍，以服务受内存带宽限制的解码阶段注意力计算。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “To address these inefficiencies, we present AMMA, a multi-chiplet, memory-centric architecture for low-latency long-context attention.”
来源：arXiv · cs.AI · arxiv.org