激励函数

激励函数

线性 linear kernel
Identity function

非线性 non-linear kernel
Sigmoid、tanh 关系：tanh(x/2) = 2sigmoid(x)-1
relu

激励函数对比
1.Selu
全称：scaled exponential linear units
函数图像：
优点(适用场景)

2.Relu
全称：
函数图像：
优点(适用场景)

3.Leaky ReLU
全称：
函数图像：
优点(适用场景)

3.Elu
全称：
函数图像：
优点(适用场景)

4.Sigmoid
全称：
函数图像：
优点(适用场景)

5.Tanh

6.Identity
全称：
函数图像：
优点(适用场景)

优化器
Gradient descent
Adam

池化
最大池化
均值池化
Beta-Pooling(CRAE)