#推理

AMMA：面向低延迟百万级上下文注意力服务的多芯粒内存中心架构

研究团队提出多芯粒内存中心架构 AMMA，用 HBM-PNM 立方体替代 图形处理器（GPU，Graphics Processing Unit） 计算裸片，将可用内存带宽提升约一倍，以服务受内存带宽限制的解码阶段注意力计算。