矩阵求导与反向传播个人理解

矩阵求导参考https://blog.youkuaiyun.com/daaikuaichuan/article/details/80620518
看图中画红圈的栏
反向传播参考b站

矩阵求导记忆点

❀ 向量x与向量y相乘=一个数 xy=数
（也就是x与y有一个是行向量，一个是列向量，习惯上一般我们认为y是列向量）
则数对x的偏导=y （格式与x一致）
数对y的偏导=x的转置 （格式与y一致）
口诀：前不转 后转

❀

口诀：链式法则向前乘

sigmod函数求导

g(x)导数=g(1-g)

反向传播矩阵形式推导（不一定对）

网络的开始（就是反向的终结）

x(n×1) 到 W(k×n) x=z(k×1)
如果求出了损失函数L=误差E 对z的偏导
那么 L对W的偏导=啥？
这是一个数 对一个矩阵的偏导

其实你用元素分解法就知道= Lz‘ x
Lz’是k×1矩阵，第一行元素表示L对z1的偏导

所以最后只需要 在右端乘以x 就可以表示反向传播的最后一条线

隐藏层

❀z=(z1，……zk）的转置 是一个列向量k×1
h= g(z)对z的偏导= diag【g(z1),g(z2）……g(zk)】 k×k