反向传播公式推导
文章推荐:https://blog.youkuaiyun.com/m0_37867091/article/details/104742705
其中, C 0 C_0 C0代表Cost Function.
反向传播实际就是在做链式求导,随着不断往前求导,会用到已经计算出的导数。例如:在计算 ∂ C ∂ z ( l − 1 ) \frac{\partial C}{\partial z^{(l-1)}} ∂z(l−1)∂C 会用到 ∂ C ∂ z ( l ) \frac{\partial C}{\partial z^{(l)}} ∂z(l)∂C的值。整个计算过程从后往前,所以叫反向传播。
目前而言,大部分基本能理解。不过关于
∂
z
(
4
)
∂
a
(
3
)
=
θ
(
3
)
\frac{\partial z^{(4)}}{\partial a^{(3)}} = \theta^{(3)}
∂a(3)∂z(4)=θ(3)这个,可能涉及到矩阵求导部分,关于维度等的问题还是有点迷糊,以后有时间会学习相关知识。