PyTorch笔记5----------Autograd、nn库

原创

于 2025-07-11 17:13:24 发布 · 899 阅读

CC 4.0 BY-SA版权

文章标签：

1.Autograd

grad和grad_fn
- grad：该tensor的梯度值，每次在计算backward时都需要将前一时刻的梯度归零，否则梯度值会一直累加
- grad_fn：叶子结点通常为None，只有结果节点的grad_fn才有效，用于只是梯度函数时哪种类型
torch.autograd.backward(tensors,grad_tensors,retain_graph,create_graph)
- 参数tensors：用于计算梯度的tensor
- 参数grad_tensors：在计算矩阵的梯度时会用到
- 参数retain_graph：通常在调用一次backward后，pytorch会自动把计算图销毁，所以想要对某个变量重复调用backward，则需要将该参数值设为True，默认值为False
- 参数create_graph：如果为True，则会创建一个专门计算微分的图
torch.autograd.grad(output,input,grad_output,retain_graph,create_graph,only_input,allow_unused)
- 计算和返回output关于input的梯度的和
- 参数output：函数的因变量，即需要求导的函数
- 参数input：函数的自变量
- 参数grad_output、retain_graph、create_graph：同backward
- 参数only_input：值为True时只计算input的梯度
- 参数allow_unused：值为False时，当计算输出出错时，指明不使用inpiu
torch.autograd.Function
- 每一个原始的自动求导运算实际上是两个在tensor上运行的函数