pytorch 反向传播backward

本文详细介绍了PyTorch中如何进行反向传播,通过实例展示了如何设置变量和函数,以及如何使用`requires_grad=True`标记可求导变量,并通过`z.backward()`执行反向传播计算梯度。此外,还提及了`retain_graph=True`选项,用于在不释放计算图的情况下进行多次求导。
部署运行你感兴趣的模型镜像

设置变量x1, x2, x3
设置函数
z = x1 * x2 + x3
并且对x1进行求导,所以求出的结果因该为x2

 

requires_grad=True //设置变量是可以求导的
z.backward()//是z进行反向传播
retain_graph = True//可以进行多次的求导

x1 = torch.randn(1, requires_grad=True)
print("x1", x1)

x2 = torch.randn(1, requires_grad=True)
print("x2", x2)

x3 = torch.randn(1, requires_grad=True)
print("x3", x3)

y = x1*x2
z = y+x3
print(z.requires_grad)
print('z', z)

# 梯度如果不清空,每次循环就会累加
z.backward()
# print(y.grad)
print(x1.grad)

x1 = torch.randn(1, requires_grad=True)
print("x1", x1)

x2 = torch.randn(1, requires_grad=True)
print("x2", x2)

x3 = torch.randn(1, requires_grad=True)
print("x3", x3)

y = x1*x2
z = y+x3
print(z.requires_grad)
print('z', z)

# 梯度如果不清空,每次循环就会累加
for i in range(0, 3):
    z.backward(retain_graph = True)
    # print(y.grad)
    print(x1.grad)

 

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库,基于 Torch 库,底层由 C++ 实现,应用于人工智能领域,如计算机视觉和自然语言处理

### PyTorch反向传播的实现机制 PyTorch 的 `backward()` 函数用于执行反向传播操作,这是神经网络训练过程中至关重要的一步。通过调用此函数,可以自动计算张量相对于其叶子节点的梯度。 #### 计算图与 autograd 包 PyTorch 提供了一个名为 `autograd` 的包,该包能够根据输入和前向传播过程动态构建计算图[^2]。这种动态特性使得 PyTorch 非常灵活,适用于各种复杂的模型结构。当完成前向传播后,可以通过调用 `.backward()` 方法触发反向传播流程。 #### 梯度累加行为 在某些情况下,多次调用同一个变量上的 `backward()` 方法时,梯度会被累加而不是被覆盖。例如,在下面的例子中: ```python import torch x = torch.tensor(2.0, requires_grad=True) y = x ** 2 z = x y.backward() print(x.grad) # 输出 tensor(4.) z.backward() print(x.grad) # 输出 tensor(5.) ``` 这里可以看到第一次调用 `y.backward()` 后得到梯度为 4,而第二次调用 `z.backward()` 后总梯度变为 5,这表明梯度进行了累加处理[^3]。 #### 自定义算子中的应用 对于更复杂的需求,比如需要自定义新的运算符,则可通过继承 `torch.autograd.Function` 类来自定义正向和反向逻辑[^4]。这种方式允许开发者精确控制每一步的行为,从而满足特定场景下的需求。 以下是简单的代码示例展示如何创建并使用一个自定义线性层及其对应的反向传播规则: ```python class CustomLinear(torch.autograd.Function): @staticmethod def forward(ctx, input, weight, bias=None): ctx.save_for_backward(input, weight, bias) output = input.mm(weight.t()) if bias is not None: output += bias.unsqueeze(0).expand_as(output) return output @staticmethod def backward(ctx, grad_output): input, weight, bias = ctx.saved_tensors grad_input = grad_weight = grad_bias = None if ctx.needs_input_grad[0]: grad_input = grad_output.mm(weight) if ctx.needs_input_grad[1]: grad_weight = grad_output.t().mm(input) if bias is not None and ctx.needs_input_grad[2]: grad_bias = grad_output.sum(0) return grad_input, grad_weight, grad_bias # 使用方法如下: input_data = torch.randn(32, 784, requires_grad=True) weights = torch.randn(512, 784, requires_grad=True) bias = torch.randn(512, requires_grad=True) output = CustomLinear.apply(input_data, weights, bias) loss = (output.mean() - target_value)**2 loss.backward() ``` 上述代码片段展示了如何利用 PyTorch 的内置工具链扩展功能边界的同时保持高效性和可维护性。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值