机器学习：神经网络代价函数总结

神经网络代价函数

---

1. 代价函数基本定义

• 代价函数是衡量模型预测输出值与目标真实值之间差距的一类函数，在一些场景中也称为目标函数。
• 在神经网络中，代价函数(如二次误差函数)衡量输出值与真实值之间的误差，以此进行误差反向传递，不断调整网络中权值和阈值，从而使得预测值和真实值之间的差距越来越小。
• 一些常用的代价函数主要有：二次代价函数、交叉熵代价函数以及对数似然函数等等。

---

2. 二次代价函数

• 定义

考虑$n$个样本的输入$z_1, z_2, ...z_n$，对应的真实值为$y_1, y_2,..., y_n$，对应的输出为$o(z_i)$，则二次代价函数可定义为：

$$C=\frac{1}{2n}\sum_{i=1} ^n||y_i - o(z_i)||^2$$
其中， $C$表示代价函数， $n$表示样本总数。

• 以一个样本为例

假设在神经网络中，上一层每个神经元的输出为$x_j$，权值为$w_j$，偏置值为$b$。当前输出神经元的激活函数为$\sigma(\cdot)$。则该神经元的输入值为$z=\sum w_jx_j +b$，此时二次代价函数为：

$$C=\frac{(y-\sigma(z))^2}{2}$$
其中， $y$为真实值。

• 考虑权值和偏置值更新

假如使用梯度下降法(Gradient descent)来调整权值和偏置值大小，则对$w$和 $b$求偏导得：

$$\begin{aligned}& \frac{\partial C}{\partial w}=(\sigma(z) -y)\sigma'(z)x \\& \frac{\partial C}{\partial w}=(\sigma(z) -y)\sigma'(z) \end{aligned}$$
该偏导数乘以学习率 $l$就变成了每次调整权值和偏置值得步长。当 $l$一定时，可以看出 $w$和 $b$的梯度跟激活函数的梯度成正比，激活函数的梯度（导数）越大，则 $w$和 $b$调整得就越快，训练收敛得就越快。

• 结合激活函数

假设神经元使用的激活函数为sigmoid函数，如下图所示：

• 考虑$A$点和$B$点，权值调整大小与sigmoid函数的梯度（导数）有关。
• 当真实值$y=1$时，则输出值目标是收敛至$1$。$A$离目标比较远，权值调整大；$B$离目标比较近，权值调整小。调整方案合理。

• 当真实值$y=0$时，则输出值目标是收敛至$0$。$A$离目标比较近，权值调整大；$B$离目标比较远，权值调整小。调整方案不合理。换句话说，很难调整到目标值$0$。

• 结论

可以看出，二次代价函数在使用sigmoid或tanh的s型激活函数时，在收敛至$0$时，存在收敛速度慢而导致的训练速度慢的问题。

---

2. 交叉熵代价函数

• 交叉熵

在分析交叉熵代价函数函数之前，先来了解一下交叉熵的概念。

首先引入信息熵，给定一个随机变量$X={x_1, x_2, ...,x_n}$，对应的概率分布为$p_1, p_2,...p_n$，则信息熵就是用来衡量随机变量的不确定性大小，定义为：

$$H(X)=\sum_{i=1}^n p_i \log_2\frac{1}{p_i}$$