PyTorch学习笔记（一）Tensor运算

最新推荐文章于 2024-04-09 22:33:04 发布

原创

最新推荐文章于 2024-04-09 22:33:04 发布 · 2.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch

这篇博客介绍了PyTorch中张量的运算和求梯度的基本概念。从version 0.4.0开始，PyTorch直接使用Tensor进行运算，通过动态计算图实现自动求导。文章详细讲解了计算图的构成、梯度的求取方法，包括基本的backwards操作、手动清零梯度的技巧以及求梯度的函数torch.autograd.grad。

Environment

OS: macOS Mojave
Python version: 3.7
PyTorch version: 1.4.0
IDE: PyCharm

0. 写在前面

本文记录了 PyTorch 中怎样对张量的运算和求梯度。

在旧版本的 PyTorch 中（version 0.4.0 之前），torch.autograd.Variable 为主要的运算对象。Variable 封装了 Tensor，能够进行自动求导。

Variable 有 5 个主要的属性

data 保存 Tensor 数据
grad 保存 data 的梯度
grad_fn 指向 Function 对象，用于反向传播时计算梯度
requires_grad 为是否需要梯度
is_leaf 为是否为是叶子结点（计算图中的概念）

从 versioin 0.4.0 开始，上述属性直接被赋予了 Tensor，直接使用 Tensor 作为主要的运算对象。

除了上述属性外，Tensor 还有 3 个主要的属性

dtype 数据类型
shape 形状，即每个维度上的长度
device 所在的设备，GPU 或 CPU

1. 计算图

计算图用来描述运算过程，由结点（node）和边（edge）组成，结构上是一个有向无环图（directed acyclic graph, DAG）。

结点表示数据，为torch.Tensor对象，输入数据的结点称为叶子结点
边表示具体运算，如加、减、乘、除、卷积、池化等

PyTorch 采用动态图机制，

创建张量实际上就是创建叶子结点
对张量进行运算实际上是构建计算图，并且在图中进行前向传播的过程

（而 TensorFlow 采用静态图机制，要求先搭建图，再给入数据进行运算）

构建如下简单的计算图
在这里插入图片描述

x = torch.tensor([
    [1., 3],
    [2, 4]
])

w = torch.tensor([
    [1., 2],
], requires_grad=True)

# 与 NumPy 类似，PyTorch 中对 tensor 运算同样有 broadcast 机制
b = torch.tensor([3.], requires_grad=True)

mid = x @ w.T # 矩阵相乘，即 mid = torch.matmul(x, w.T)
out = mid + b # 即 out = torch.add(mid, b)
out_mean = out

最低0.47元/天解锁文章