A3D-MoE: Acceleration of Large Language Models with Mixture of Experts via 3D Heterogeneous Integ...

文章主要内容总结

本文针对细粒度混合专家（MoE）架构的大型语言模型（LLMs）推理效率问题，提出了一种名为A3D-MoE的3D异构集成系统，旨在解决MoE架构面临的三大挑战： runtime工作负载变化导致的GEMV-GEMM比率不稳定（降低硬件利用率）、注意力操作与MoE操作无法融合（增加延迟和降低利用率）、DRAM访问能耗高且带宽需求大。

A3D-MoE通过四项核心技术实现优化：1）3D异构集成系统，利用先进垂直集成技术提升内存带宽，减少片上网络（NoC）开销和能耗；2）3D自适应GEMV-GEMM比率脉动阵列，结合V-Cache高效数据复用和统一3D数据流，解决硬件利用率低的问题；3）硬件资源感知的操作融合调度器，实现注意力操作与MoE操作的融合，提升性能；4）MoE分数感知的HBM访问减少与奇偶专家放置策略，降低DRAM访问次数和带宽需求。

实验评估表明，与现有技术相比，A3D-MoE将延迟降低1.8-2倍，能耗降低2-4倍，吞吐量提升1.44-1.8倍。

创新点

1. 3D异构集成系统（A3D-MoE）：采用先进垂直集成技术（如混合键合、硅通孔TSV），消除SerDes接口，减少NoC能耗，提升内存带宽，同时通过3D V-Cache优化数据复用。
2. 3D自适应GEMV-GEMM比率脉动阵列：支持 runtime动态调整GEMV（向量矩阵乘法）与GEMM（矩阵矩阵乘法）的比率，解决不同工作负载下硬件利用率低的问题，并通过V-Cache实现低算术强度GEMM向GEMV的分解与高效数据复用。