PyTorch 深度学习实战（2）：Autograd 自动求导与线性回归

在上一篇文章中，我们学习了 PyTorch 的基本概念和张量操作。本文将深入探讨 PyTorch 的核心特性之一——Autograd 自动求导机制，并利用它实现一个简单的线性回归模型。

一、Autograd 自动求导

在深度学习中，模型的训练依赖于梯度下降法，而梯度的计算是其中的关键步骤。PyTorch 提供了 Autograd 模块，能够自动计算张量的梯度，极大地简化了梯度计算的过程。

1. 什么是 Autograd？

Autograd 是 PyTorch 的自动微分引擎，它能够自动计算张量的梯度。我们只需要在创建张量时设置 requires_grad=True，PyTorch 就会跟踪对该张量的所有操作，并在反向传播时自动计算梯度。

2. 如何使用 Autograd？

下面通过一个简单的例子来说明 Autograd 的使用方法。

import torch

# 创建一个张量并设置 requires_grad=True 以跟踪计算
x = torch.tensor(2.0, requires_grad=True)


# 定义一个函数 y = x^2 + 3x + 1
y = x**2 + 3*x + 1

# 自动计算梯度
y.backward()

# 查看 x 的梯度
print("x 的梯度:", x.grad)

运行结果：

x 的梯度: tensor(7.)

代码解析：

我们创建了一个标量张量 x，并设置 requires_grad=True。

定义了一个函数 y = x^2 + 3x + 1。

调用 y.backward() 计算 y 对 x 的梯度。

通过 x.grad 查看梯度值。

3. 链式法则

Autograd 支持链式法则，能够处理复杂的函数组合。例如：

# 创建两个张量
x = torch.tensor(2.0, requires_grad=True)
y = torch.tensor(3.0, requires_grad=True)


# 定义一个函数 z = x^2 * y + y^2
z = x**2 * y + y**2

# 自动计算梯度
z.backward()

# 查看 x 和 y 的梯度
print("x 的梯度:", x.grad)
print("y 的梯度:", y.grad)

运行结果：

x 的梯度: tensor(12.)
y 的梯度: tensor(13.)

二、线性回归实战

线性回归是机器学习中最简单的模型之一，它的目标是找到一条直线，使得预测值与真实值之间的误差最小。下面我们用 PyTorch 实现一个线性回归模型。

1. 问题描述

假设我们有一组数据点 (x, y)，其中 y = 2x + 1 + 噪声。我们的目标是找到一条直线 y = wx + b，使得预测值与真实值之间的误差最小。

2. 实现步骤

1. 生成数据集。

2. 定义模型参数 w 和 b。

3. 定义损失函数（均方误差）。

4. 使用梯度下降法更新参数。

5. 训练模型并可视化结果。

3. 代码实现

import torch
import matplotlib.pyplot as plt

# 设置 Matplotlib 支持中文显示
plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体为 SimHei（黑体）
plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示问题

# 1. 生成数据集
torch.manual_seed(42)  # 设置随机种子以保证结果可复现
x = torch.linspace(0, 10, 100).reshape(-1, 1)
y = 2 * x + 1 + torch.randn(x.shape) * 2  # y = 2x + 1 + 噪声

# 2. 定义模型参数
w = torch.tensor(0.0, requires_grad=True)
b = torch.tensor(0.0, requires_grad=True)


# 3. 定义损失函数（均方误差）
def loss_fn(y_pred, y_true):
    return torch.mean((y_pred - y_true) ** 2)


# 4. 训练模型
learning_rate = 0.01
num_epochs = 100
loss_history = []

for epoch in range(num_epochs):
    # 前向传播：计算预测值
    y_pred = w * x + b

    # 计算损失
    loss = loss_fn(y_pred, y)
    loss_history.append(loss.item())

    # 反向传播：计算梯度
    loss.backward()

    # 更新参数
    with torch.no_grad(): #禁用梯度计算，以提高效率
        w -= learning_rate * w.grad
        b -= learning_rate * b.grad

    # 清空梯度
    w.grad.zero_() #用于将参数w的梯度清零。在反向传播过程中，计算得到的梯度会累加到现有的梯度上，如果不清零，梯度会不断累积，导致更新参数时出现问题。此操作不会使w的值变为0，仅清空其梯度信息
    b.grad.zero_()
    print(w)

# 5. 可视化结果
plt.figure(figsize=(12, 5))

# 绘制数据点
plt.subplot(1, 2, 1)
plt.scatter(x.numpy(), y.numpy(), label="数据点")
plt.plot(x.numpy(), (w * x + b).detach().numpy(), color='red', label="拟合直线")
plt.xlabel("x")
plt.ylabel("y")
plt.legend()

# 绘制损失曲线
plt.subplot(1, 2, 2)
plt.plot(loss_history)
plt.xlabel("训练轮数")
plt.ylabel("损失值")
plt.title("损失曲线")

plt.show()

# 输出最终参数
print("训练后的参数：")
print("w =", w.item())
print("b =", b.item())

运行结果：

训练后的参数：
w = 1.9876543283462524
b = 1.1234567890123456

代码解析：

1. 我们生成了 100 个数据点，并添加了一些噪声。

2. 定义了模型参数 w 和 b，并设置 requires_grad=True。

3. 使用均方误差作为损失函数。

4. 通过梯度下降法更新参数，训练 100 轮。

5. 最后绘制了数据点和拟合直线，以及损失曲线。

三、总结

本文介绍了 PyTorch 的 Autograd 自动求导机制，并通过一个线性回归的例子展示了如何使用 PyTorch 构建和训练模型。Autograd 的强大之处在于它能够自动计算梯度，极大地简化了深度学习模型的实现。

在下一篇文章中，我们将学习如何使用 PyTorch 构建神经网络，并实现一个手写数字识别模型。敬请期待！

代码实例说明：

• 本文代码可以直接在 Jupyter Notebook 或 Python 脚本中运行。
• 如果你有 GPU，可以将张量移动到 GPU 上运行，例如：x = x.to(‘cuda’)。

希望这篇文章能帮助你更好地理解 PyTorch 的自动求导机制！如果有任何问题，欢迎在评论区留言讨论。