激活函数（1）笔记

ReLU函数

最受欢迎的激活函数是修正线性单元（Rectified linear unit，ReLU），因为它实现简单，同时在各种预测任务中表现良好。ReLU提供了一种非常简单的非线性变换。

# 导入PyTorch库  
import torch

# 从d2l库中导入与PyTorch相关的模块（这里假设d2l是一个外部库或教程中定义的库）  
from d2l import torch as d2l

# 创建一个一维的tensor x，包含从-5到4.9（步长为0.1）的浮点数，并设置requires_grad=True以支持自动求导  
# 这意味着我们稍后可以对这个tensor进行反向传播以计算梯度  
x = torch.arange(-5, 5, 0.1, requires_grad=True)

# 使用PyTorch的relu函数计算x的ReLU激活值，结果存储在y中  
# ReLU函数是一个非线性函数，其定义为f(x) = max(0, x)  
y = torch.relu(x)

# 使用d2l库中的plot函数绘制x和y的图像。这里x和y都被detach()以避免梯度跟踪  
# 因为我们只是想绘制图像，而不需要计算关于这些值的梯度  
# 'x'和'relu(x)'分别是x轴和y轴的标签  
# figsize参数设置了图像的大小为宽5英寸&