32、机器学习中的激活函数、超参数与逻辑回归

机器学习中的激活函数、超参数与逻辑回归

在机器学习领域，激活函数、超参数的选择以及逻辑回归算法都是至关重要的概念。本文将详细介绍这些内容，包括激活函数的种类、特点，神经网络超参数的作用，以及逻辑回归的原理和应用。

激活函数

激活函数在神经网络中起着关键作用，它能够引入非线性因素，使神经网络能够学习和表示复杂的模式。常见的激活函数有以下几种：

• ReLU（Rectified Linear Unit） ：目前最常用的激活函数之一。它的优点包括在正区域不饱和、计算效率高，使用ReLU的模型通常比使用其他激活函数的模型收敛更快。然而，当ReLU神经元的激活值为0时，在反向传播过程中该神经元的梯度也会为0。可以通过合理设置初始权重和学习率来缓解这种情况。
• ELU（Exponential Linear Unit） ：基于ReLU的指数线性单元。与ReLU的关键区别在于，ELU在原点处可导。不过，ELU牺牲了一定的计算效率来换取“不死性”，并且引入了一个新的超参数，因此ReLU仍然更受欢迎。
• Sigmoid ：输出范围在(0, 1)之间，会使梯度饱和并“杀死”梯度，输出不是零中心的。常用于LSTM、GRU和概率模型中。
• Softmax ：将数据集中的值映射到0到1之间，且所有值的和为1，创建了一个概率分布。在卷积神经网络的图像分类中，用于将最后一个隐藏层的值映射到输出层的神经元。
• Softplus ：