台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning

台大李宏毅Machine Learning 2017Fall学习笔记 (7)Introduction of Deep Learning

最近几年，deep learning发展的越来越快，其应用也越来越广。但深度学习的发展并非是一帆风顺的。

简单了解深度学习的历史后，再看一下做深度学习的步骤。很简单，就像是把大象放进冰箱里一样简单。共分为3步。

$$Step\ 1:Neural\ Network$$ $$Step\ 2:Goodness\ of\ function$$ $$Step\ 3:Pick\ the\ best\ function$$

Step 1:Neural Network

神经网络的示意图如下：

如上图所示：“神经元”不同的连接方式会有不同的网络结构。网络参数$\theta$是在“神经元”中所有的权重和偏置。
对于深度学习而言，网络结构就相当于函数集合（下图以全连接前馈网络为例）。

深度学习的网络层分为三类：输入层、隐藏层和输出层。见下图：

深度学习指的是有很多的隐藏层。在网络结构中的计算均是以矩阵的形式进行。



正如上图所示，可以利用并行计算的方式来加速矩阵操作。
隐藏层的作用是特征提取，从而使得特征提取这一步变为全自动的。
以手写数字识别为例，需要自己决定构建网络结构，而通常这一步是比较困难的。需要自己决定网络有多少层？每层有几个神经元？大多靠的是反复试验+直觉。

Step 2:Goodness of function

求解函数，首先定义损失函数，同样以手写数字识别为例，此处利用了交叉熵。

Step 3:Pick the best function

利用梯度下降法求解参数$\theta$.


不断迭代，直至找到最优解。