AmazonInferentia2芯片搭载双NeuronCore-v2引擎，优化的内存堆栈和集体计算引擎，专为深度学习算法设计，包括针对矩阵运算的张量引擎，处理ReLU操作的标量引擎和处理非元素向量运算的向量引擎，提升多加速器推理效率。
Amazon Inferentia2的创新之处
与亚马逊自研机器学习训练芯片 Amazon Trainium 类似，每个 Amazon Inferentia2 芯片都配有两个经过优化的 NeuronCore-v2 引擎、高带宽内存（HBM）堆栈和专用的集体计算引擎，以便在执行多加速器推理时实现计算与通信的并行。
每个 NeuronCore-v2 都有专为深度学习算法构建的标量、向量和张量三种引擎，其中张量引擎针对矩阵运算进行了优化；标量引擎针对 ReLU（修正线性单元）函数等元素性操作进行了优化；向量引擎针对批处理规范化或池化等非元素向量运算进行了优化。
以下是 Amazon Inferentia2 芯片和服务器硬件其他创新总结：
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
