神经网络各参数矩阵大小的计算总结

小马小灰灰

已于 2022-05-18 22:25:09 修改

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

文章标签：神经网络矩阵机器学习

于 2022-05-18 22:21:21 首次发布

本文链接：https://blog.youkuaiyun.com/m0607aaa/article/details/124852225

这篇博客探讨了深度学习中矩阵运算的原理，包括权重矩阵W[l]、偏置b[l]的形状计算，以及前向传播过程中Z[l]和A[l]的计算。内容涉及输入X和输出Y的维度，以及激活函数的应用，揭示了神经网络层数、节点数量与样本数量之间的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

假设：
矩阵层数为 $l$ ，所在层的node个数为 $n^{(l)}$ ，X: input, Y: output，样本个数为 $m$ ，有以下的矩阵大小的计算方法：
$W^{[l]}.shape = (n^{[l]}, n^{[l-1]})$
$X.shape = (n^{[0]}, 1)$
$Y.shape = (n^{[l]}, 1)$ , l取层数最大值
$Z^{[l]}= W^{[l]}A^{[l-1]} + b^{[l]}$
$A^{[l]} = activation(Z^{[l]})$
$Z^{[l]}.shape = A^{[l]}.shape = (n^{[l]}, m)$
$b^{[l]}.shape = (n^{[l]}, 1)$