14,PyTorch 激活函数的选择与应用-优快云博客

在这里插入图片描述

14. PyTorch 激活函数的选择与应用

在构建深度学习模型时，激活函数是神经网络中不可或缺的一部分。它为神经网络引入非线性因素，使得模型能够学习和拟合复杂的函数映射关系。PyTorch 提供了多种激活函数，合理选择和使用激活函数对于模型的性能和训练效果有着重要的影响。本节将详细介绍 PyTorch 中常见的激活函数及其应用场景。

14.1 常见的激活函数

14.1.1 Sigmoid 激活函数

Sigmoid 函数是一种经典的激活函数，其输出范围在 (0, 1) 之间，具有平滑的梯度。它常用于二分类问题的输出层，将输出值映射到概率值。

import torch
import torch.nn as nn
import matplotlib.pyplot as plt

# 定义 Sigmoid 激活函数
sigmoid = nn.Sigmoid()

# 输入数据
x = torch.linspace(-10, 10, 100)
y = sigmoid(x)

# 绘制 Sigmoid 函数图像
plt.plot(x.numpy(), y.numpy(), label='Sigmoid')
plt.legend()
plt.show()

Sigmoid 函数的缺点是容易出现梯度消失问题，尤其是在输入值较大或较小时，梯度接近于零，导致训练过程缓慢。

14.1.2 Tanh 激活函数

Tanh 函数是 Sigmoid 函数的变体，其输出范围在 (-1, 1) 之间，零中心化，比 Sigmoid 函数更优。它常用于隐藏层，能够更好地处理正负值。

# 定义 Tanh 激活函数
tanh = nn.Tanh()

# 输入数据
x = torch.linspace(-10, 10, 100)
y = tanh(x)

# 绘制 Tanh 函数图像
plt.plot(x.numpy(), y.numpy(), label='Tanh')
plt.legend()
plt.show()

Tanh 函数同样存在梯度消失问题，但相比 Sigmoid 函数，其梯度消失的速度较慢。

14.1.3 ReLU 激活函数

ReLU（Rectified Linear Unit）函数是一种常用的激活函数，其公式为 ( f(x) = \max(0, x) )。ReLU 函数的优点是计算简单，能够有效缓解梯度消失问题，加速训练过程。

# 定义 ReLU 激活函数
relu = nn.ReLU()

# 输入数据
x = torch.linspace(-10, 10, 100)
y = relu(x)

# 绘制 ReLU 函数图像
plt.plot(x.numpy(), y.numpy(), label='ReLU')
plt.legend()
plt.show()

ReLU 函数的缺点是当输入小于零时，梯度为零，导致部分神经元可能永远不会被激活，称为“死亡 ReLU”问题。

14.1.4 Leaky ReLU 激活函数

Leaky ReLU 是 ReLU 函数的改进版本，它在输入小于零时引入了一个非零的梯度，解决了“死亡 ReLU”问题。

# 定义 Leaky ReLU 激活函数
leaky_relu = nn.LeakyReLU(negative_slope=0.01)

# 输入数据
x = torch.linspace(-10, 10, 100)
y = leaky_relu(x)

# 绘制 Leaky ReLU 函数图像
plt.plot(x.numpy(), y.numpy(), label='Leaky ReLU')
plt.legend()
plt.show()

Leaky ReLU 函数通过设置 negative_slope 参数来控制输入小于零时的梯度值。

14.1.5 Softmax 激活函数

Softmax 函数常用于多分类问题的输出层，将输出值映射到概率分布上，输出值的和为 1。

# 定义 Softmax 激活函数
softmax = nn.Softmax(dim=1)

# 输入数据
x = torch.randn(1, 5)  # 假设输入数据的维度为 (batch_size, num_classes)
y = softmax(x)

# 输出 Softmax 函数的结果
print("Softmax 输出：", y)
print("输出值的和：", y.sum(dim=1))

Softmax 函数的输出值可以作为分类任务的概率分布，适用于多分类问题。

14.2 激活函数的选择与应用场景

14.2.1 隐藏层激活函数

在隐藏层中，ReLU 函数是最常用的激活函数，因为它计算简单且能够有效缓解梯度消失问题。然而，如果遇到“死亡 ReLU”问题，可以尝试使用 Leaky ReLU 或其他变体，如 Parametric ReLU（PReLU）或 Exponential Linear Unit（ELU）。

14.2.2 输出层激活函数

二分类问题：使用 Sigmoid 函数，将输出值映射到概率值。
多分类问题：使用 Softmax 函数，将输出值映射到概率分布。
回归问题：通常不使用激活函数，或者使用线性激活函数（即不进行非线性变换）。

14.3 激活函数的使用示例

以下是一个简单的神经网络模型，展示了如何在隐藏层和输出层中使用不同的激活函数。

class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        self.fc1 = nn.Linear(10, 20)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(20, 5)
        self.softmax = nn.Softmax(dim=1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        x = self.softmax(x)
        return x

# 定义模型
model = SimpleNN()

# 输入数据
x = torch.randn(1, 10)  # 假设输入数据的维度为 (batch_size, in_features)

# 前向传播
output = model(x)

print("输出数据的形状：", output.shape)
print("输出数据：", output)