《Deep Learnning Tutorial》笔记（二）

上一节简要学习了什么是神经网络，大体上知道了深度学习的一个框架。这一节继续学习深度学习第二步goodness of function。

Training Data

这个Data不仅仅需要判断的数据，还需要与之对应着的标签（target）。比如给一些图片，并且还给这些图片对应的是什么，有小狗狗还有小猫咪。

Learning Target

训练的目的就是要将输入数据经过某函数得到的输出数据（output）与对应着的标签（target）相比较，差别越小越好，这里的差别也叫损耗，即loss。也就是说找到这个函数使之差别最小。
A good function should make the loss of all examples as small as possible

每一个数据的损耗记为$lr$，那么所有数据的总损耗就为 $L = \sum_{r=1}^Rlr$，所以目的就是find a function in function set —-> find the network parameters $θ^*$ 来让 $L$尽可能的小。

How to pick the best function

找函数其实就是找参数，还记得每个神经元都有自己的参数吗？？那整个神经网络的参数就是 $θ$ = {$w1, w2, ..., b1, b2, ...$}， 找到这些参数就能知道对应的函数是什么了。找参数，一个个暴力地试？？不现实！！接下来介绍一个方法来确定参数——Gradient Descent

Gradient Descent

梯度下降法：
就是一个不断递归求解最优的方法。计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值），而神经网络就是求解极小值。
我们用TensorFlow来训练一下。

我们发现此时的 $loss=0$ 为最小，而且 $k$ 也等于0，所以是训练最优，分类最好。我们也发现这个 $k$ 是不断下降的过程，这是最理想的。

那需要计算什么才能求得 $loss$ 最小时的参数呢？ 如果求的参数是 $w$，那么我们就计算 $∂L/∂w$，如果是负值，则增加 $w$，相反是正直，则减少 $w$，直至越来越小。

其实就是不断循环计算 $w ← w - η∂L/∂w$ 使得最后的 $∂L/∂w$ 最小，$η$ 为 learning rate（学习率）。
每一个参数都是如此，那么最后就会列出一个列向量：

$$\left[ \begin{array}{c} ∂L/∂w1\\ ∂L/∂w2\\ ...\\∂L/∂b1\\... \end{array} \right]$$

这个列向量就是梯度向量。

那么梯度下降可以用如下图描述：

但是，能确保都能有最小值吗？？ 因为我们取的初始点可以是不同的，所以也会导致最后的求的最小值不同，也就是说结果不同，我们只能尽量地避免局部最小值，但是不能保证最后求出的一定是最小值。