《Neural network and deep learning》学习笔记（一）

Using neural nets to recognize handwritten digits

---

Learning with gradient descent

对于一个网络，它的代价函数：

$$\begin{eqnarray} C(w,b) \equiv \frac{1}{2n} \sum_x \| y(x) - a\|^2\end{eqnarray}$$
其中，w和b为权重和偏置，n为输入样本总数，y(x)为输入样本x所属的类别，也就是groundtruth，a为经过网络计算后得到的向量。另外，C可以称作是二次代价函数，或者均方误差（MSE）。
我们要做的就是尽可能找到一组权重和偏置(w,b)来最小化代价函数，也就是说让预测值越接近groundtruth越好。训练算法采用梯度下降法（gradient descent）。
最小化$C(v)$，而$v = v_1,v_2, \ldots$，其中用$v$来表示w和b。假设代价函数C有两个分量，$v1和v2$

我们要做的就是找到曲面的最低点，因此要得到C的梯度信息。
$$\begin{eqnarray} \Delta C \approx \frac{\partial C}{\partial v_1} \Delta v_1 + \frac{\partial C}{\partial v_2} \Delta v_2\end{eqnarray}$$
注意啊，这里是变化值，不是梯度啊！
然后将上式中的导数部分提出来作为一个向量有：$\left(\frac{\partial C}{\partial v_1}, \frac{\partial C}{\partial v_2}\right)^T$，那么有： $$\begin{eqnarray} \nabla C \equiv \left( \frac{\partial C}{\partial v_1}, \frac{\partial C}{\partial v_2} \right)^T\end{eqnarray}$$ 注意这里就是梯度信息了啊！ 然后$v_1和v_2$也提出来作为一个向量：$\Delta v \equiv (\Delta v_1, \Delta v_2)^T$，然后见证奇迹的时刻到了！ $$\begin{eqnarray} \Delta C \approx \nabla C \cdot \Delta v\end{eqnarray}$$ 再然后令$\begin{eqnarray}\Delta v = -\eta \nabla C\end{eqnarray}$，得到： $$\Delta C \approx -\eta\nabla C \cdot \nabla C = -\eta |\nabla C|^2$$ 其中，$\eta$就是所谓的学习率啦（learning rate）。这样，由于$\| \nabla C \|^2 \geq 0$，而且$\eta$为正数，那么就保证了$\Delta C \leq 0$。 $$\begin{eqnarray} v \rightarrow v' = v -\eta \nabla C\end{eqnarray}$$ 按照这种方式逼近全局最小值。
关于learning rate的选取，如果过大会导致$\Delta C > 0$，如果过小就会导致$\Delta v$变化的太慢。