深度学习(一):激活函数、反向传播和学习率

一、激活方法(Activation Functions)

给定一个或者一组输入的节点的输出

1.ReLU

2. Sigmoid/Logistic

3.Binary

4.Tanh

5.Softplus

6.softmax

7.Maxout

8.Leaky ReLU, PReLU, RReLU, ELU, SELU, and others.

二、反向传播(Backpropagation)

1.这是一种用于人造神经网络的方法，用于计算一批数据后每个神经元的误差贡献。 它计算损失函数的梯度，通常用于梯度体系优化算法。它也被称为错误的反向传播，因为在输出处计算错误并通过网络层分发。

采用4维向量表示的神经网络。

2.在这种方法中，重新计算了较低层较高层的偏导数，以提高效率。

3.intuition for backpropagation

3.1 example(Circuits)

3.2 example(Flowgraphs)

三、学习率(Learning Rate)

神经网络通常通过权重的梯度下降训练。 这意味着在每个迭代中，使用反向传播来计算相对于每个权重的损失函数的导数，并从该权重中减去它。然而，如果真的尝试了，权重将会变化太多，每次迭代，这将使他们“过度纠正”，损失实际上会增加或偏离。 所以在实践中，通常将每个导数乘以一个称为“学习率”的小值，然后将其从相应的权重中减去。

最简单的方法：保持不变/固定，所有参数一样

通过允许学习率减少选项来获得更好的结果

1.当验证错误停止改进时减少0.5；
2.由于理论收敛保证，O（1 / t）减少，超参数X和X和X是迭代数；

3.使用AdaGrad非人工设置学习率；

特别说明：本文为本人学习所做笔记。
具体参考：http://download.youkuaiyun.com/download/qq_33801763/9953339