神经网络笔记 - 交叉熵(Cross-Entropy)

如上文所述, 如果我们使用均方误差来考量学习误差

$$C = \frac{1}{2n}\sum_x||y(x)-a^L(x)||^2$$
则有
$$\frac{\partial C}{\partial w}=(a-y)\sigma^{'}(z)x$$
$$\frac{\partial C}{\partial b}=(a-y)\sigma^{'}(z)$$
$Sigmoid$ 函数的曲线大致如下图:

当神经元的输出接近 0