thy0000的博客

是PyTorch中的Leaky Rectified Linear Unit（ReLU）激活函数的实现。Leaky ReLU是一种修正线性单元，它在非负数部分保持线性，而在负数部分引入一个小的斜率（通常是一个小的正数），以防止梯度消失问题。：x为负数时的需要的一个系数，控制负斜率的角度。默认值：1e-2(0.01)

ReLU（Rectified Linear Unit）激活函数是深度学习中最常用的激活函数之一，它的数学表达式如下：在这里，(x) 是输入，(f(x)) 是输出。ReLU激活函数的使用非常简单，它将输入(x)的所有负值变为零，而保持正值不变。这个激活函数具有以下用途和优点：（1）：ReLU引入了非线性性质，使神经网络可以学习和表示非线性函数关系。这对于捕捉复杂的数据模式和特征非常重要。（2）：ReLU计算非常简单，因为它只涉及一个比较和一个取最大值的操作。这使得训练神经网络更加高效。（3）

Softmax激活函数是一种用于多类别分类问题的激活函数，通常用于神经网络的输出层。它将原始分数（也称为logits）转换为表示概率分布的数值，使得每个类别的概率值都在0和1之间，并且所有类别的概率之和等于1。这使得它适用于多类别分类问题，其中每个样本只能属于一个类别。Softmax函数的数学定义如下：对于给定的原始分数（logits）z = [z1, z2, …, zn]，Softmax函数将这些分数转换为概率分布p = [p1, p2, …, pn]