深度学习学习笔记（1）

神经网络（ANN）：

人造神经元是整个网络的最小单位，他们构成神经网络的输入层、隐藏层、输出层。不同层的神经元按照不同的权重设置连接。输入层只起到传递数据的作用，他们将数据按配置的权重，传导至隐藏层相应的神经元。

那么，隐藏层的那些神经元会被激活呢？这就涉及到另一个知识了——激活函数（Activationfunction）。我们单独拿出一个神经元出来介绍，其信号强度由上层传输的加权和所决定。激活函数会将该输入信号转化为该神经元的输出值。

假如激活函数为简单的分段函数，当输入信号小于预设临界值时输出0，大于等于时输出1，该神经元被激活。但是这种函数面临着一个问题，当输入信号逐渐到达临界值时，输出值会出现从0直接变为1的情况。

为了平滑输出值，往往会选择不同的激活函数。例如sigmoid，其输出值位于[0-1]的区间内。

隐藏层的神经元输出值会根据相应权重流入输出层。输出层神经元根据激活函数输出最终值。

逆向参数调整方法

通过不断调整W1,W2，让Y、E集合的误差平方和最小。调整的方法即为逆向参数调整法（backpropagation）。调整过程中设计两个方法分别是梯度下降法（Gradient Descent）和链式法则（Chain Rule）。

梯度下降法

低度下降法的核心在于，为了求得误差平方和的极小值，我们需要将w权重从初始值逐步移动到误差平方和函数S（W）的导数为0处。每次移动的幅度由S（W）的导数和学习系数的常数值eta值所决定。

​

当厨师随机W值较大时，其最终输出误差也较大。根据导数进行计算，初始调整步幅也会较大。在步幅函数中eta之前有一个负号，这是由于步幅调整方向和导数值相反。导数为负时步幅为正，导数为正时步幅为负。随着调整，误差函数逐步趋近于极值位置导数绝对值逐渐趋近于0，步幅不断缩小。所以这里eta值学习系数的设置也需要仔细考虑。太小了，学习速度太慢，耗时太长，相反eta值如果设置太大，则有可能跳过极值点（有多个极值点还有可能会漏掉最优解），在实际应用中我们往往会设置一些循环退出条件。