深度学习与反向传播

1.深度学习

（1）学习的三个步骤：

• Step1：神经网络（Neural network）
• Step2：模型评估（Goodness of function）
• Step3：选择最优函数（Pick best function）

（2）神经网络

组成：输入层（1层）+隐藏层（N层）+输出层（1层）

从输入层到输出层的中间过程可做如下理解：

计算方法就是：sigmoid（权重w【黄色】 * 输入【蓝色】+ 偏移量b【绿色】）= 输出

其中，σ为激活函数。

问题：

• 隐藏层有多少层？ 每层有多少神经元？

这个问我们需要用尝试加上直觉的方法来进行调试。对于有些机器学习相关的问题，我们一般用特征工程来提取特征，但是对于深度学习，我们只需要设计神经网络模型来进行就可以了。对于语音识别和影像识别，深度学习是个好的方法，因为特征工程提取特征并不容易。

• 结构可以自动确定吗？

有很多设计方法可以让机器自动找到神经网络的结构的，比如进化人工神经网络（Evolutionary Artificial Neural Networks）但是这些方法并不是很普及 。

• 我们可以设计网络结构吗？

可以的，比如 CNN卷积神经网络（Convolutional Neural Network ）

 （3）模型评估

         对于模型的评估，我们一般采用损失函数来反应模型的好差，所以对于神经网络来说，我们采用交叉熵（cross entropy）函数来对y和​​的损失进行计算，接下来我们就是调整参数，让交叉熵越小越好。

对于损失，我们不单单要计算一笔数据的，而是要计算整体所有训练数据的损失，然后把所有的训练数据的损失都加起来，得到一个总体损失L。接下来就是在function set里面找到一组函数能最小化这个总体损失L，或者是找一组神经网络的参数θ，来最小化总体损失L。

（4）选择最优函数

方法：梯度下降

具体流程：θ是一组包含权重和偏差的参数集合，随机找一个初试值，接下来计算一下每个参数对应偏微分，得到的一个偏微分的集合∇L就是梯度,有了这些偏微分，我们就可以不断更新梯度得到新的参数，这样不断反复进行，就能得到一组最好的参数使得损失函数的值最小。

 2.反向传播

详情可参考以下博文：

反向传播——通俗易懂_chengchaowei的博客-优快云博客_反向传播