Pytorch的基本概念

最新推荐文章于 2025-02-21 15:32:58 发布

原创最新推荐文章于 2025-02-21 15:32:58 发布 · 297 阅读

1 ·

CC 4.0 BY-SA版权

什么是PyTorch,为什么选择PyTorch

什么是PyTorch
它是一个以Python优先的深度学习框架，不仅能够实现强大的GPU加速，同时还支持动态神经网络，这是现在很多主流框架比如Tensorflow等都不支持的。
PyTorch既可以看做加入了GPU支持的numpy,同时也可以看成一个拥有自动求导功能的强大的深度神经网络，除了Facebook之外，它还可以被Twitter、CMU和Salesforce等机构采用。
为什么选择Pytorch
(1) 掌握一个框架并不能一劳永逸，现在深度学习并没有谁具有绝对的垄断地位，就算是Google也没有，所以只学Tensorflow并不够。
(2)Tensorflow和Caffe都是命令式语言，而且是静态的，首先必须构建一个神经网络，然后一次又一次使用同样的结构，如果想要改变结构就要从头开始。但对于PyTorch ,是通过反向自动求导技术，可以让你零延迟地任意改变神经网络的行为，而且目前为止它是最快的。
(3)Pytorch的设计思路是线性、直观且易于使用。更加简洁直观。同时对于Tensorflow高度商业化的很难看懂的底层代码，Pytorch就要友好的多，更容易看懂。
(4)支持CPU、动态神经网络，Python优先，命令式体验，轻松扩展。

Pytorch的安装

根据自己的python版本，利用pip命令安装pytorch需要的包，安装完成之后，pytorch就安装好了。(我这里指的是不安装GPU的情况)

Pytorch基础概念

张量

正如 PyTorch 文档所说，如果我们熟悉 NumPy 的多维数组，那么 Torch 张量的很多操作我们能轻易地掌握。PyTorch 提供了 CPU 张量和 GPU 张量，并且极大地加速了计算的速度。从张量的构建与运行就能体会到 PyTorch 相比 TensorFLow 需要声明张量、初始化张量要简洁地多。以下语句将随机初始化一个 5×3 的二维张量，因为 PyTorch 是一种动态图，所以它声明和真实赋值是同时进行的。

torch.Tensor(5, 3)
 
---------------------------------------
 
2.4878e+04  4.5692e-41  2.4878e+04
 
4.5692e-41 -2.9205e+19  4.5691e-41
 
1.2277e-02  4.5692e-41 -4.0170e+19
 
4.5691e-41  1.2277e-02  4.5692e-41
 
0.0000e+00  0.0000e+00  0.0000e+00
 
[torch.FloatTensor of size 5x3]

若我们希望随机初始化的张量服从某些分布，那么我们可以直接对张量对象使用一些方法。如下初始化的张量将服从均匀分布：

torch.Tensor(5, 3)
 
---------------------------------------
 
2.4878e+04  4.5692e-41  2.4878e+04
 
4.5692e-41 -2.9205e+19  4.5691e-41
 
1.2277e-02  4.5692e-41 -4.0170e+19
 
4.5691e-41  1.2277e-02  4.5692e-41
 
0.0000e+00  0.0000e+00  0.0000e+00
 
[torch.FloatTensor of size 5x3]

若我们希望随机初始化的张量服从某些分布，那么我们可以直接对张量对象使用一些方法。如下初始化的张量将服从均匀分布：

torch.Tensor(5, 3).uniform_(-1, 1)
 
---------------------------------------------
 
-0.2767 -0.1082 -0.1339
 
-0.6477  0.3098  0.1642
 
-0.1125 -0.2104  0.8962
 
-0.6573  0.9669 -0.3806
 
0.8008 -0.3860  0.6816
 
[torch.FloatTensor of size 5x3]

了直接定义维度，一般我们还可以从 Python 列表或 NumPy 数组中创建张量。而且根据 Python 列表和元组等数据结构的习惯，我们可以使用相似的索引方式进行取值或赋值等。以下通过 Python 列表创建一个 Torch 张量，并通过索引赋值：

>>> torch.FloatTensor([[1, 2, 3], [4, 5, 6]])
 
1  2  3
 
4  5  6
 
[torch.FloatTensor of size 2x3]
 
>>> print(x[1][2])
 
6.0
 
>>> x[0][1] = 8
 
>>> print(x)
 
1  8  3
 
4  5  6
 
[torch.FloatTensor of size 2x3]

若 x 为我们定义的 5×3 Torch 张量，且初始化数值服从-1 到 1 的均匀分布，那么我们可以执行很多基础的数学运算。以下执行了一个简单的矩阵间对应元素乘积

x = torch.Tensor(5, 3).uniform_(-1, 1)
 
y = x * torch.randn(5, 3)
 
print(y)
 
---------------------------------------------
 
0.2200 -0.0368  0.4494
 
-0.2577 -0.0343  0.1587
 
-0.7503 -0.1729  0.0453
 
0.9296 -0.1067 -0.6402
 
-0.3276  0.0158 -0.0552
 
[torch.FloatTensor of size 5x3]

数学运算
如 NumPy 一样，高效地实现数学函数对于科学计算库至关重要。PyTorch 提供了一个简单的接口，并支持 200 多种数学运算，以下是 PyTorch 实现简单加运算的过程：

a = torch.FloatTensor([2])
b = torch.FloatTensor([3])
 
a + b
5
[torch.FloatTensor of size 1]

这种运算与 Python 非常像，我们可以在定义的 PyTorch 张量上执行多种矩阵运算。例如我们可以转置二维张量：

matrix = torch.randn(3, 3)
matrix
-1.3531 -0.5394  0.8934
1.7457 -0.6291 -0.0484
-1.3502 -0.6439 -1.5652
[torch.FloatTensor of size 3x3]
matrix.t()
-2.1139  1.8278  0.1976
0.6236  0.3525  0.2660
-1.4604  0.8982  0.0428
[torch.FloatTensor of size 3x3]

通用代码实现流程(实现一个深度学习的代码流程)

使用CIFAR-10数据集实践pytorch的代码流程：
1.使用torchvision加载并预处理数据集
2.定义网络
3.定义损失函数和优化器
4.训练网络并更新网络参数
5.测试网络
数据加载及预处理

import torchvision as tv
import torchvision.transforms as transforms
from torchvision.transforms import ToPILImage
show = ToPILImage()

# 第一次运行torchvision会自动下载数据集

# 定义对数据的预处理
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ])

# 训练集
trainset = tv.datasets.CIFAR10(root='/home/cy/tmp/data', train=True, download=True, transform=transform)

trainloader = t.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)

# 测试集
testset = tv.datasets.CIFAR10('/home/cy/tmp/data/', train=False, download=True, transform=transform)

testloader = t.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)

classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

定义网络

import torch.nn as nn
import torch.nn.functional as F

class Net(nn.Module):
	def __init__(self):
		super(Net, self).__init__()
		self.conv1 = nn.Conv2d(3, 6, 5)
		self.conv2 = nn.Conv2d(6, 16, 5)
		self.fc1 = nn.Linear(16*5*5, 120)
		self.fc2 = nn.Linear(120, 84)
		self.fc3 = nn.Linear(84, 10)
	def forward(self, x):
		x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
		x = F.max_pool2d(F.relu(self.conv2(x)), 2)
		x = F.view(x.size()[0], -1)
		x = F.relu(self.fc1(x))
		x = F.relu(self.fc2(x))
		x = self.fc3(x)
		return x
net = Net()
# print(net)

定义损失函数和优化器

from torch import optim
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

训练网络
所有网络的训练流程都是类似的，不断地执行以下流程
1.输入数据
2.前向传播 + 反向传播
3.更新参数

t.set_num_threads(8)
for epoch in range(2):
	running_loss = 0.0
	for i, data in enumerate(trainloader, 0):
		inputs, labels = data;
		optimizer.zero_grad()
		outputs = net(inputs)
		loss = criterion(outputs, labels)
		loss.backward()
		optimizer.step()
		running_loss += loss.item()
		if i % 2000 == 1999:
			print('[%d, %5d] loss: %.3f' \ % (epoch+1, i+1, running_loss / 2000))
			running_loss = 0.0
print('Finished Training')

# 得出整个测试集上的准确率
correct = 0
total = 0

with t.no_grad():
	for data in testloader:
		images, labels = data
		outputs = net(images)
		_, predicted = t.max(outputs, 1)
		total += labels.size(0)
		correct += (predicted == labels).sum()
print('10000张测试集中的准确率为：%d %%' % (100 * correct / total))

参考文章
https://blog.youkuaiyun.com/liyingjiehh/article/details/90083639