3、PyTorch张量与传统NLP基础

PyTorch张量与传统NLP基础

1. PyTorch张量与计算图

1.1 张量与梯度记录

PyTorch的张量类不仅封装了数据本身，还包含了一系列操作，如代数运算、索引和重塑操作等。当在创建张量时将 requires_grad 布尔标志设置为 True ，PyTorch会开启记录操作，跟踪张量的梯度以及梯度函数，这对于基于梯度的学习至关重要。

以下是一个创建用于梯度记录的张量的示例：

import torch

# 创建一个2x2的张量，并设置requires_grad为True
x = torch.ones(2, 2, requires_grad=True)
print("张量x的信息：")
print(f"类型: {x.type()}")
print(f"形状: {x.size()}")
print(f"值: {x}")
print(f"x的梯度是否为None: {x.grad is None}")

# 对x进行一些操作得到y
y = (x + 2) * (x + 5) + 3
print("\n张量y的信息：")
print(f"类型: {y.type()}")
print(f"形状: {y.size()}")
print(f"值: {y}")
print(f"x的梯度是否为None: {x.grad is None}")

# 计算y的均值得到z
z = y.mean()
print("\n张量z的信息：")
print(f"类型: {z.type()}")
print(f"形状: {z.size()}")
print(f