PyTorch学习笔记(一)Tensor运算

这篇博客介绍了PyTorch中张量的运算和求梯度的基本概念。从version 0.4.0开始,PyTorch直接使用Tensor进行运算,通过动态计算图实现自动求导。文章详细讲解了计算图的构成、梯度的求取方法,包括基本的backwards操作、手动清零梯度的技巧以及求梯度的函数torch.autograd.grad。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Environment

  • OS: macOS Mojave
  • Python version: 3.7
  • PyTorch version: 1.4.0
  • IDE: PyCharm


0. 写在前面

本文记录了 PyTorch 中怎样对张量的运算和求梯度。

在旧版本的 PyTorch 中 (version 0.4.0 之前),torch.autograd.Variable 为主要的运算对象。Variable 封装了 Tensor,能够进行自动求导。

Variable 有 5 个主要的属性

  1. data 保存 Tensor 数据
  2. grad 保存 data 的梯度
  3. grad_fn 指向 Function 对象,用于反向传播时计算梯度
  4. requires_grad 为是否需要梯度
  5. is_leaf 为是否为是叶子结点(计算图中的概念)

从 versioin 0.4.0 开始,上述属性直接被赋予了 Tensor,直接使用 Tensor 作为主要的运算对象。

除了上述属性外,Tensor 还有 3 个主要的属性

  1. dtype 数据类型
  2. shape 形状,即每个维度上的长度
  3. device 所在的设备,GPU 或 CPU

1. 计算图

计算图用来描述运算过程,由结点(node)和(edge)组成,结构上是一个有向无环图(directed acyclic graph, DAG)。

  • 结点表示数据,为torch.Tensor对象,输入数据的结点称为叶子结点
  • 边表示具体运算,如加、减、乘、除、卷积、池化等

PyTorch 采用动态图机制,

  1. 创建张量实际上就是创建叶子结点
  2. 对张量进行运算实际上是构建计算图,并且在图中进行前向传播的过程

(而 TensorFlow 采用静态图机制,要求先搭建图,再给入数据进行运算)

构建如下简单的计算图
在这里插入图片描述

x = torch.tensor([
    [1., 3],
    [2, 4]
])

w = torch.tensor([
    [1., 2],
], requires_grad=True)

# 与 NumPy 类似,PyTorch 中对 tensor 运算同样有 broadcast 机制
b = torch.tensor([3.], requires_grad=True)

mid = x @ w.T # 矩阵相乘,即 mid = torch.matmul(x, w.T)
out = mid 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值