神经网络激活函数之前的加权求和 ｜ 矩阵相乘运算法则（清晰版）

矩阵乘法和元素级乘积

• 矩阵乘法通常用在全连接层参数更新；
• 元素级乘积通常在激活函数或者权重更新；

1. 神经网络中进行加权求和为什么要将w矩阵进行转置？

下面以一个简单的神经网络作为举例：

我们要将输入特征与W进行加权求和，想要的是下面这种结果：

但是根据矩阵相乘的运算法则：

1. 矩阵A的列数（column）必须等于矩阵B的行数（row）；
2. 矩阵C的行数等于矩阵A的行数，列数等于B的列数；

下面是我们目前拥有的A、B矩阵：

显然，这两个矩阵是不符合矩阵相乘的运算法则的，因为此时A的列数为5，B的行数为3，所以要将矩阵A进行转置，转置之后列数就为3了；

以上就是为什么加权求和之前要对矩阵进行转置的原因啦！！！