xinjieyuan的博客

为什么Pytorch死活要用第0块显卡

torch.gather()的理解

安装并同步最新的transformerpip uninstall transformerspip install git+https://github.com/huggingface/transformers

从零开始学bert，预训练实战笔记(torch版本)：https://zhuanlan.zhihu.com/p/356750146如何使用Transformers和Tokenizers从头开始训练新的语言模型https://huggingface.co/blog/how-to-train文本分类上分微调技巧实战：有一些技巧https://www.jianshu.com/p/83e8907c531a...

1.综合一定要注意版本对应版本对应以及whl目录2.稳定推荐注意：安装顺序按我的序号来安装版本一python 3.6.5torch: 1.7.1_cu110torch_cluster-1.5.9-cp36-cp36m-linux_x86_64.whltorch_scatter-2.0.7-cp36-cp36m-linux_x86_64.whltorch_sparse-0.6.9-cp36-cp36m-linux_x86_64.whl再安装torch_geometricpip in

sp.diags# inputs:[0.06896536 0.03290889 0.05405389 0.06451621 0.03508776 0.04255323 0.4 0.05714307 0.4 0.07407343 0.08610969 0.0253165 ]print(sp.diags(r_inv))# output: 对角矩阵，但是是稀疏的。 (0, 0) 0.06896536 (1, 1) 0.03290889 (2, 2) 0.0540.

前言torch中常见的一些矩阵乘法和元素乘积，说白了无非就是以下四种，为了避免忘了，做个笔记乘法符号 *torch.mul()torch.mmtorch.matmul1. 对比乘法符号*# shape=(2,5)node = tensor([[1, 1, 1, 0, 0], [1, 1, 1, 1, 1]])node_0 = node.unsqueeze(-1)'''tensor([[[1], [1], [1], [0]

前言通常，我们的代码中需要一些小函数可以提高我们的代码阅读，这里做点笔记。帮助函数1. 显示时间import timeimport mathdef asMinutes(s): m = math.floor(s / 60) # 地板取整 s -= m * 60 return '%dm %ds' % (m, s)def timeSince(since, percent): now = time.time() s = now - since es

通常

前言pack_padded_sequence()与pad_packed_sequence()这两个函数属于torch.nn.utils包中用来处理数据的。前者用于压紧数据，后面用于解压数据。一. 官方+理解1. pack_padded_sequence'官方函数'torch.nn.utils.rnn.pack_padded_sequence(input, lengths, batch_first=False) → PackedSequence这里的pack，理解成压紧比较好。 将一个 填充过的

前要这两个函数都是用来改变tensor的形状的，但是他们两是有内存共享的区别，因为这个区别。三个提前说的注意点：x是个tensor，x += 1和x= x+1在pytorch中是有区别的， 后者会重开内存地址。学过面向对象语言都知道，对象和数据的地址是分开的，比如x = [1,2,3],对象是x，数据是[1,2,3]。id()函数只能看对象内存地址，storage()函数可以看数据内存地址。1. 文档解释view()# 使用方法x_tensor.view(*args) → Tensor

前言这两个都是一个东西，使用上有细微差别。差别Parameter()Parameter是Tensor，即 Tensor 拥有的属性它都有，⽐如可以根据data 来访问参数数值，⽤ grad 来访问参数梯度。举例：# 随便定义一个网络net = nn.Sequential(nn.Linear(4, 3), nn.ReLU(), nn.Linear(3, 1)) # list让它可以访问weight_0 = list(net[0].parameters())[0]print(weight

前言这两个函数，其实本来有一个大佬写的比较清楚了，但是说实话，总是给忘具体使用细节。我还是自己写一个更清晰的吧。官方文档scatter_()scatter_(input, dim, index, src) → Tensor其实这样写会造成迷惑，建议这么按下面的理解：理解input.scatter_(dim, index, src) → Tensorinput: 我们需要插入数据的起源tensor；也就是想要改变内部数据的tensordim：我们想要从哪个维度去改input数据ind

网上安装的各种方法，牛鬼蛇神。。我自己记录一个我半个小时就装好的版本。加速系统源安装显卡驱动cuda和cudnn安装pytorch-gpu或者按我这一套很详细的来，基本上可以了。

从F.softmax(dim)出发看维度dim的选择1.dim定义：当矩阵x是二维的时候（这个大家都懂，行列去理解）dim=0代表:∑i=0Nx[i,j]=1\sum_{i=0}^N x[i,j ]=1i=0∑N​x[i,j]=1 j是个固定值，是常数；N的值来自len(x[:,j])-1，也就是一共多少行减1;代码表现方式：sum(x[:,j]) = 1 → Tensor...

关心差别的可以直接看【3.不同点】前言在pytorch中转置用的函数就只有这两个transpose()permute()这两个函数都是交换维度的操作。有一些细微的区别1. 官方文档transpose()torch.transpose(input, dim0, dim1, out=None) → Tensor函数返回输入矩阵input的转置。交换维度dim0和dim1参数:...

可以直接看3.例子，就明显1和2说的啥了在pytorch中，常见的拼接函数主要是两个，分别是：stack()cat()他们的区别参考这个链接区别，但是本文主要说cat()。前言该函数总的来说和python内置函数cat()函数没有区别。1. cat()官方解释----torch.cat(inputs, dim=0) → Tensor函数目的： 在给定维度上对输入的张量序列se...

在pytorch中，常见的拼接函数主要是两个，分别是：stack()cat()他们的区别参考这个链接区别，但是本文主要说stack()。前言该函数是经常出现在自然语言处理（NLP）和图像卷积神经网络(CV)中的基础函数，用来拼接序列化的张量而存在的，相对于cat()，因为stack更容易想到栈内存，该函数更加让初学者觉得陌生。通常stack为了保留–[序列(先后)信息] 和 [张量...

一般来说，阻拦安装我们安装cpu版本的pytorch只有一个原因那就是网络极差，安装超久。下文是不受此影响的安装方法。前提你安装了Anaconda即可。1. 更改anaconda的安装源# 添加三个源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda c...