常见的激活函数和损失函数

激活函数

1. 线性激活函数

        • 数学表达式：y = x

        • 优点：简单，易于理解和实现

        • 缺点：不能处理复杂的数据模式，无法引入非线性

2. Sigmoid函数

        • 数学表达式：

        • 优点：将值映射到0和1之间，输出具有明确的意义（概率）

        • 缺点：梯度消失问题，输出不以0为中心

3. Tanh函数

         • 数学表达式（双曲正切）：

        • 优点：将值映射到-1和1之间，输出以0为中心

        • 缺点：仍存在梯度消失问题

4. ReLU函数（Rectified Linear Unit）

        • 数学表达式：f(x) = max(0, x)

        • 优点：可以缓解梯度消失问题，计算效率高

        • 缺点：存在"死ReLU"问题

5. Leaky ReLU函数

        • 数学表达式：f(x) = max(0.01x, x)

         • 优点：尝试解决"死ReLU"问题

        • 缺点：参数可能需要调整

6. Swish函数

        • 数学表达式：f(x) = x * sigmoid(x)

        • 优点：据称其表现优于ReLU

        • 缺点：相比ReLU计算量较大

7. Softmax函数

        • 数学表达式： ，其中j从1到k

        • 优点：将一组值转换为一组概率值，常用于多类别分类问题的输出层

        • 缺点：当类别过多时，计算量较大

损失函数

1. 均方误差(Mean Squared Error, MSE)：

        • 这是回归问题中最常用的损失函数。对于n个数据点，MSE为每个数据点 预测值与真实值差的平方的平均值。

        • 对于n个数据点，如果真实值为y_i，预测值为ŷ_i，则MSE = (1/n) Σ(y_i - ŷ_i)^2。

2. 均方根误差(Root Mean Squared Error, RMSE)：

         • 它是MSE的平方根，用于量化预测误差的标准偏差。

        • RMSE是MSE的平方根，即RMSE = sqrt(MSE)。

3. 平均绝对误差(Mean Absolute Error, MAE)：

        • 它是每个数据点预测值与真实值差的绝对值的平均值。

        • MAE = (1/n) Σ|y_i - ŷ_i|。

4. 交叉熵损失(Cross Entropy Loss)

        • 分类问题中最常用的损失函数。对于二分类问题，其形式为二元交叉熵 损失，用于衡量模型预测概率分布与真实分布之间的差距。对于多分类 问题，其形式为多项交叉熵损失。

        • 对于二分类问题，如果真实标签为y，预测为p，则二元交叉熵损失为-[y log(p) + (1-y) log(1-p)]。对于多分类问题，如果真实标签为one-hot编码 的向量y，预测为概率分布向量p，则多项交叉熵损失为-Σ(y_i log(p_i))。

5. 对数损失(Log Loss)：

        • 对数损失通常用于二分类问题，其实就是二元交叉熵损失的另一种说法。

        • 对数损失的表达式与二元交叉熵损失相同，即-[y log(p) + (1-y) log(1 p)]。

6. Hinge损失 (Hinge Loss)：

         • Hinge损失通常用于支持向量机和一些线性分类问题。

        • 对于分类问题，如果真实标签为y，预测为ŷ，则Hinge损失为max(0, 1 y*ŷ)。

7. Huber损失 (Huber Loss)

        • Huber损失是回归问题中的一种损失函数，它在误差小的时候变为平方 误差，误差大的时候变为绝对误差，因此对于异常值具有更好的鲁棒性。

        • 对于回归问题，Huber损失定义为：

                • 如果|y - ŷ| ≤ δ，则Huber损失为0.5 * (y - ŷ)^2

                • 如果|y - ŷ| > δ，则Huber损失为δ * |y - ŷ| - 0.5 * δ^2

                • 其中，δ是一个需要调整的参数。