PyTorch入门（一）向量

最新推荐文章于 2023-11-08 11:23:06 发布
最新推荐文章于 2023-11-08 11:23:06 发布
阅读量589 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 人工智能 python 爬虫
原文链接：https://segmentfault.com/a/1190000018340003

什么是PyTorch？

  PyTorch是Facebook人工智能团队开发的一个机器学习和深度学习工具，用于处理大规模图像分析，包括物体检测，分割与分类。但是它的功能不仅限于此。它与其它深度学习框架结合，能够完成复杂的算法。PyTorch用Python和C++编写。
  PyTorch属于深度学习框架中的重要一员，与TensorFlow, Keras, Theano等其它深度学习框架不同，它是动态计算图模式，其应用模型支持在运行过程中根据运行参数动态改变，而其它框架都是静态计算图模式，其模型在运行之前就已经确定。以下是各个深度学习框架的热度对比:

关于各个深度学习框架的对比，可以参考网址：Comparison of deep learning software
。
  PyTorch是使用GPU和CPU优化的深度学习张量库。
  下面，我们将一起来学习PyTorch中向量（Tensor）的相关操作。

安装与运行

  PyTorch的安装十分简单，需要用pip安装即可：

pip3 install torch
pip3 install torchvision

其中torchvision包含了一些torch内置的图片与视频数据集。
  用以下的Python代码可以输出安装的PyTorch版本信息：

import torch
print(torch.version.__version__)

在笔者的电脑上，输出的结果如下：

1.0.1.post2

向量的基本操作

导入模块

导入模块

检测是否为PyTorch中的向量

  is_tensor()函数可以检测某个序列是否为PyTorch中的向量，is_storage()可以检测某个序列是否被存储为PyTorch中的向量。

向量检测

  可以看到，Python中的列表并不是PyTorch中的向量，也不会被存储为PyTorch中的向量。那么，如何创建PyTorch中的向量呢？

创建随机向量

  利用randn()函数可以创建随机向量，随机数为0~1的随机浮点数，可以指定创建的向量的维数。

创建随机向量

可以看到，我们创建了1*2*3维的向量，用size()函数可以查看向量的维数情况，用numel()函数可以查看向量中的所有元素个数。

创建零向量

  利用zeros()函数可以创建零向量，即所有元素均为零的向量，只需指定向量的维数即可。

创建零向量

在上面，我们创建了4*4的零向量。

创建单位向量

  利用eye()函数可以创建单位向量，即主对角元素为1，其余元素均为零的向量，只需指定向量的维数即可。当二维向量的行数与列数不一样时，主对角元素为1，其余为0。

创建单位向量

从numpy中创建向量

  PyTorch支持直接从numpy中创建向量，这为PyTorch和numpy提供了无缝对接，这也是PyTorch的一个优势。

从numpy直接创建向量

  当然，PyTorch也可以将向量转化为numpy中的ndarrays.

向量转化为numpy.ndarrays

Tensor函数创建向量

  可以利用Tensor()直接创建向量。

Tensor函数

linspace与logspace创建向量

  linspace(tart, end, steps=100, out=None)通过指定开始值、终值和元素个数创建表示等差数列的一维数组，可以通过endpoint参数指定是否包含终值，默认值为True，即包含终值。
  logspace(tart, end, steps=100, out=None)返回一个1维张量，包含在区间10exp(start)和10exp(end)上以对数刻度均匀间隔的 steps个点。

linspace() & logspace()

创建均匀分布向量

  rand()函数可以创建指定维数的满足均匀分布的向量。

rand()

随机整数排列向量

  randperm(n, out=None) ,给定参数n，返回一个从0 到n -1 的随机整数排列。

randperm()

等差数列向量

  arange(start, end, step=1, out=None) , 返回一个1维张量，包含从start到end，以step为步长的一组序列值(默认步长为1)。

arange()

寻找最大值、最小组

  argmin()和argmax()函数可以寻找向量所在的最小值和最大值的下标，0表示沿着行查找，1表示沿着列查找。

argmin(), argmax()

向量拼接

  cat()函数在给定维度上对输入的张量序列seq 进行连接操作，默认的维度为0，即按行拼接。

cat()

向量分块

  chunk(tensor, chunks, dim=0)函数在给定维度(轴)上将输入张量进行分块，默认为0，即按行进行分块。

chunk()

gather()函数

  gather(input, dim, index, out=None), 沿给定轴dim，将输入索引张量index指定位置的值进行聚合。gather()函数理解起来比较困难，先看例子，再解释：

gather()

gather的作用是这样的，index是索引，具体是行还是列的索引要看前面dim ，比如对于我们的例子, [[11, 12], [23, 24]], 指定dim=1，也就是横向，那么索引就是列号。index的大小就是输出的大小，所以比如index是[[0,0], [1,0]]，那么看index第一行，0列指的是11，同理，第二行为1, 0 , 这样就是[24, 23]，参考这样的解释看上面的输出结果，即可理解gather的含义。

索引

  index_select(input, dim, index, out=None) ，沿着指定维度对输入进行切片，取index中指定的相应项(index为一个LongTensor)，然后返回到一个新的张量，返回的张量与原始张量_Tensor_有相同的维度(在指定轴上)。

index_select()

split()函数

  split(tensor, split_size, dim=0), 将输入张量分割成相等形状的chunks（如果可分）。 如果沿指定维的张量形状大小不能被split_size整分， 则最后一个分块会小于其它分块。

split()

向量转置

   二维向量的转置可以用t()或transpos(1, 0)实现。

向量转置

unbind()

  unbind(tensor, dim=0), 移除指定维后，返回一个元组，包含了沿着指定维切片后的各个切片，默认维度为1，表示行，1表示列。

unbind()

判断是否为零元素

  nonzero()函数可以判断向量中的元素是否为0.

nonzero()

向量运算

  以下将演示几种常见的矩阵运算。

矩阵运算

矩阵的点乘与矩阵乘法

矩阵点乘与矩阵乘法

总结

  本文的github地址为：https://github.com/percent4/P... 。

注意：不妨了解下笔者的微信公众号： Python爬虫与算法（微信号为：easy_web_scrape）， 欢迎大家关注~

Pytorch入门教程
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-08 4万+
Pytorch学习总结:1.张量Tensor 张量是一种特殊的数据结构，与数组和矩阵非常相似。在PyTorch中，我们使用张量对模型的输入和输出以及模型的参数进行编码。 张量类似于NumPy的ndarray，除了张量可以在 GPU 或其他硬件加速器上运行。事实上，张量和NumPy数组通常可以共享相同的底层内存，从而无需复制数据。...
Pytorch - 词向量
AI工程化、开源分享、文档翻译、代码笔记
02-20 508
学习自：蓝思诺特 https://www.bilibili.com/video/BV1Ky4y1g7Nk?p=6 文章目录 One-hot 的缺点 过于稀疏 没有体现词的相似、关联 词向量化：把每一个词投射到n维空间中。 主流的两种简单的词向量训练方法：CBOW, Skip-gram COW: 前后的词预测中间的词；前后多少个词的个数，也叫做 window_size ...
PyTorch与向量化计算
whaosoft143ai的博客
08-25 1522
因此，推荐使用None索引进行维度的扩展，下面举例说明：​​​​​​​。从上面的例子可以看出，整数数组索引的机制就是先将索引数组对应位置的数字，组合成源Tensor实例的索引，再根据索引值和Tensor的size、storage_offset和stride属性计算出Storage空间上的真实索引，最后返回结果。根据上文中整数数组索引的思路，这个索引的size和目标Tensor的size是一致的，因此可以直接使用整数数组索引对原始Tensor进行构建，具体实现如下：​​​​​​​。
pytorch argmax_PyTorch入门（一）向量
weixin_39610678的博客
11-24 1487
什么是PyTorch？   PyTorch是Facebook人工智能团队开发的一个机器学习和深度学习工具，用于处理大规模图像分析，包括物体检测，分割与分类。但是它的功能不仅限于此。它与其它深度学习框架结合，能够完成复杂的算法。PyTorch用Python和C++编写。  PyTorch属于深度学习框架中的重要一员，与TensorFlow, Keras, Theano等其它深度学习框架不同...
PyTorch中向量表示
icoder的博客
12-06 477
PyTorch中向量默认为行向量！（和习惯相反） 以nn.Linear()为例： Applies a linear transformation to the incoming data: y=xAT+by = xA^T + by=xAT+b
PyTorch入门-词向量
Jocab_jl的博客
07-07 1145
一. 概念 1 . 词的表示 在自然语言处理任务中，首先需要考虑词如何在计算机中表示。通常，有两种表示方式：one-hot representation和distribution representation。 1.1 离散表示（one-hot representation） 传统的基于规则或基于统计的自然语义处理方法将单词看作一个原子符号被称作one-hot representation。one-hot representation把每个词表示为一个长向量。这个向量的维度是词表大小，向量中只有一个维度的值
pytorch对向量的操作
m0_74710085的博客
11-08 683
在深度学习中，向量扮演着重要的角色。向量是一种数据结构，可以视为标量值的列表。这些标量值被称为向量的元素或分量。当向量用于表示数据集中的样本时，它们的值具有特定的现实意义。例如，在训练模型以预测贷款违约风险时，可以将每个申请人与一个向量关联，该向量的分量与申请人的收入、工作年限、过往违约次数和其他因素相对应。在深度学习中，输入输出向量尤其重要。输入向量是训练数据的表示形式，而输出向量则是神经网络对数据的预测结果。这些向量在自然语言处理和回归问题中也发挥了关键作用。
pytorch入门简介.pytorch入门简介.zippytorch入门简介.zippytorch入门简介.zip
03-05
在PyTorch入门中，首先需要理解的基本概念包括张量（Tensor）和计算图。张量是PyTorch中的基本数据结构，类似于多维数组，可以用来表示各种数学对象，如标量、向量、矩阵和多维数组。它们可以进行各种数学运算，如...
PyTorch入门.pptx
09-07
PyTorch入门 PyTorch是当前非常流行的人工智能深度学习框架，它提供了强大的工具和库，可以帮助开发者快速构建和训练神经网络。下面是PyTorch入门的知识点总结： 1. 张量（Tensors） 张量是PyTorch的核心概念，...
推荐系统实时推理优化：PyTorch动态词向量技术在电商场景的性能调优方案.pdf
02-21
该文档【推荐系统实时推理优化：PyTorch动态词向量技术在电商场景的性能调优方案】共计 26 页，文档支持目录章节跳转同时还支持阅读器左侧大纲显示和章节快速定位，文档内容完整、条理清晰。文档内所有文字、图表、...
4. PyTorch中的数据类型—张量
Austin6035的博客
04-29 1047
本文中所有代码的前提是调用PyTorch包 import torch 1. 张量的理解 标量：0维张量，向量：1维张量，矩阵：2维张量。简单理解，张量是3维及以上的高维矩阵。 2. PyTorch的张量创建 2.1 列表类型转变为张量类型 t = torch.tensor([1,2,3,4]) 2.2 PyTorch包内置方法创建 torch.rand(l,m,n) # [l,m,n]维的向量，内部元素在[0,1]区间分布； torch.randn(l,m,n) # [l,m,n]维
pytorch中特殊张量的创建(全零、单位、对角、正态分布、随机采样、arange数列等张量)
qq_43061415的博客
02-27 6379
### 特殊张量的创建方法 **全零、单位、对角、正态分布、随机采样、arange数列等张量** 创建一些特殊取值的张量，用于模拟特殊取值的矩阵，如全0矩阵、对角矩阵等 （1）**torch.zeros()方法**，创建全零张量 ```python （1）#创建全零张量 torch.zeros([2, 3]) 结果为：tensor([[0., 0., 0.], [0., 0., 0.]]) ``` 由于zeros就已经确定了张量元素的取值，因此该函数传入的参数实际上是决定了张量的形状。
Pytorch torch.save() 保存特征向量
今晚看星星的博客
01-14 2834
Pytorch保存特征向量 tensor
Pytorch 对三维向量进行随机采样
weixin_43994864的博客
02-22 1553
我输入一个大小为torch.Size([2, 6, 5])的三维向量，现在我要从中随机选取N个点，且为不重复采样。为提供更加清楚的解释，我们运行结果如下截图可做对比： 1. 无序采样 随机采样输出是没有顺序的，可能在位置2的点采样后位置在3！ a) 从第二维度进行随机采样 b) 从第三维度进行随机采样 2. 有序采样 采样输出跟原本数据的先后顺序一致 3. 代码 import torch import random # 输入大小为torch.Size([2, 6, 5])的三维向量 a = torc
torch norm() Formalize()
t20134297的博客
10-18 2518
torch中的normalize的功能是将一个向量单位化，比如一个向量为： x = [1,2,3,4] 则标准化过程为先求出这个向量的二范数，然后将每一个维度上面的值都除以这个二范数。 import torch.nn.functional as F import torch x = torch.randn(1,3) print(x) z = F.normalize(x) print(z) 运行结果为： tensor([[-1.0407, -1.1139, -0.9541]]) 设一个向量
pytorch 向量计算
廷益_飞鸟的博客
09-29 1143
向量相关计算 向量与向量的计算 x = torch.arange(4, dtype=torch.float32) y = torch.ones(4, dtype=torch.float32) * 2 print(x) print(y) # 向量与向量计算 print(x + y) print(x * y) print(x / y) print(x ** y) # 向量点乘 print(y.dot(x)) print(torch.sum(x * y)) 向量与矩阵 # 向量与矩阵 M = tor
pytorch中一些常用方法的总结
热门推荐
凌墨的博客
09-16 5万+
主要介绍一些pytorch框架常用的方法，这里torch环境实在torch0.3.1情况，请对号入座。。。 1、首先介绍我们学习pytorch的官方教程地址：http://pytorch.org/docs/master/index.html；还有一个中文文档:点击打开链接，0.4版本的官方文档：点击打开链接 2、我个人也是 pytorch 的初学者，我以一个初学者的身份来简单介绍torch的使...
Pytorch 叉乘
Smile
10-03 6208
使用Pytorch时遇到想要将矩阵进行自身叉乘的情况，例如输入数据size为[BS, 3]，那么需要先将输入数据转换为[BS, 3, 1]和[BS, 1, 3]，这时叉乘结果size为[BS, 3, 3] 下面为二维矩阵的pytorch代码及结果： import numpy as np import torch a = np.array([1, 2, 3]) a = torch.from_nump...
pytorch每日一学43(torch.t())将二维tensor转置
Fluid_ray的博客
12-11 1743
第43个方法 torch.t(input)->tensor 此方法非常简单，就是对二维矩阵进行操作，返回它的转置矩阵。 看使用方法 >>> x = torch.randn(()) >>> x tensor(0.1995) >>> torch.t(x) tensor(0.1995) >>> x = torch.randn(3) >>> x tensor([ 2.4320, -0.4608, 0.7702]) &
pytorch入门
最新发布
03-08
### PyTorch 入门教程 #### 加载库并准备数据集 为了开始使用 PyTorch 进行机器学习模型训练，加载必要的库是第一步。这包括 `torch` 及其子模块 `nn`（神经网络），以及用于获取标准图像分类数据集的 `datasets` 和转换工具 `ToTensor`。 ```python import torch from torch import nn from torch.utils.data import DataLoader from torchvision import datasets, transforms ``` 接着定义如何预处理输入图片的数据变换链——这里仅简单地将其转成张量形式： ```python transform = transforms.ToTensor() ``` 创建一个实例化后的 Dataset 对象来存储样本及其对应标签，并通过指定根目录、是否作为测试集以及其他参数完成初始化工作；最后利用 DataLoader 来封装这个自定义或内置的数据源类以便后续取用批次化的训练/验证数据[^1]。 ```python training_data = datasets.FashionMNIST( root="data", train=True, download=True, transform=ToTensor(), ) test_data = datasets.FashionMNIST( root="data", train=False, download=True, transform=ToTensor(), ) ``` 构建好上述组件之后就可以轻松获得批量大小为 64 的迭代器了: ```python train_dataloader = DataLoader(training_data, batch_size=64) test_dataloader = DataLoader(test_data, batch_size=64) ``` #### 定义模型结构 接下来要做的就是设计具体的网络架构，在此以简单的全连接层为例展示基本操作方法。当然实际应用中可能还会涉及到卷积核池化等更复杂的运算单元组合方式。 ```python class NeuralNetwork(nn.Module): def __init__(self): super(NeuralNetwork, self).__init__() self.flatten = nn.Flatten() # 展平多维特征向量 self.linear_relu_stack = nn.Sequential( # 构建线性层序列 nn.Linear(28*28, 512), nn.ReLU(), # 非线性激活函数 nn.Linear(512, 512), nn.ReLU(), nn.Linear(512, 10), # 输出维度等于类别数 ) def forward(self, x): # 正向传播过程描述 x = self.flatten(x) logits = self.linear_relu_stack(x) return logits model = NeuralNetwork().to('cuda' if torch.cuda.is_available() else 'cpu') print(model) # 打印查看当前设备上的模型配置详情 ``` 这段代码实现了两件事：一是继承基类 `Module` 并重写构造函数与前馈计算逻辑；二是根据硬件条件自动选择运行平台从而提高效率。 #### 训练循环设置 有了前面几步打下的基础，现在可以着手编写完整的训练流程啦！ ```python loss_fn = nn.CrossEntropyLoss() # 设置损失函数类型 optimizer = torch.optim.SGD(model.parameters(), lr=1e-3) def train(dataloader, model, loss_fn, optimizer): size = len(dataloader.dataset) for batch, (X, y) in enumerate(dataloader): X, y = X.to(device), y.to(device) pred = model(X) # 调用模型预测输出 loss = loss_fn(pred, y) # 计算误差值 optimizer.zero_grad() # 清除梯度缓存区中的旧记录以免累积影响新一次更新 loss.backward() # 自动求导机制反传误差信号调整权重参数 optimizer.step() if batch % 100 == 0: current = batch * len(X) print(f"loss: {loss:>7f} [{current:>5d}/{size:>5d}]") device = 'cuda' if torch.cuda.is_available() else 'cpu' for t in range(epochs): print(f"Epoch {t+1}\n-------------------------------") train(train_dataloader, model, loss_fn, optimizer) print("Done!") ``` 以上部分展示了怎样设定优化算法超参选项并通过遍历 epoch 数目实现多次迭代直至收敛稳定状态为止的过程。 #### 测试评估性能指标 当所有准备工作都完成后自然少不了检验成果好坏的重要环节咯～下面给出了一种简易版的方法供参考借鉴： ```python def test(dataloader, model, loss_fn): size = len(dataloader.dataset) num_batches = len(dataloader) model.eval() test_loss, correct = 0, 0 with torch.no_grad(): for X, y in dataloader: X, y = X.to(device), y.to(device) pred = model(X) test_loss += loss_fn(pred, y).item() correct += (pred.argmax(1)==y).type(torch.float).sum().item() test_loss /= num_batches correct /= size print(f"Test Error: \n Accuracy: {(100*correct):>0.1f}%, Avg loss: {test_loss:>8f} \n") test(test_dataloader, model, loss_fn) ``` 该片段主要围绕着关闭 dropout 等随机因素干扰的前提下统计正确率和平均交叉熵得分来进行最终评判。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值