上帝是个娘们的博客

注意，不同版本的pytorch，对nn.TransformerEncdoerLayer部分代码差别很大，比如1.8.0版本中没有batch_first参数，而1.10.1版本中就增加了这个参数，笔者这里使用pytorch1.10.1版本实验。

【代码】实体抽取-将bio标签转为json文件的代码。

【代码】pytorch 实现Transformer encoder。

import torchimport torch.nn.functional as Ffrom src.utils import generate_square_subsequent_maskimport mathclass Translator(): def __init__(self, bos_idx, eos_idx, device, max_steps=64, beam_size=3, length_norm_coefficient=0.6): '''

最近做生成式问答，尝试用bert做encoder，transformer-decoder做decoder框架来做。遇到一个问题，就是我想让decoder共享bert的embedding矩阵，但是由于设置了decoder和encoder学习速率不同，因此，我不知道embedding矩阵参数如何更新？会不会收到decoder端的影响，于是做了下面的实验。import torchimport torch.nn as nnclass Encoder(nn.Module): def __init__

直接上代码：from transformers import BertTokenizerpath = '../PTM/bert-base-zh'tokenizer = BertTokenizer.from_pretrained(path)text_1 = '①Goodpasture综合征'text_2 = '1Goodpasture综合征'text_3 = '@Goodpasture综合征'text_4 = 'Goodpasture综合征'print(tokenizer.tokeni

import torchdef f_1(mu): eps = 0.01 mu = mu + eps # 相当于创建了新的变量，原变量没有变 def f_2(mu): eps = 0.01 mu += eps # 没有创建新的变量，对原变量进行操作，也就是in-place mu = torch.ones(2, 4)f_1(mu)print(mu)f_2(mu)print(mu)'''tensor([[1., 1., 1.,

forward过程假设以概率ppp丢弃KKK维输入向量x=[x1,x2,,,xK]x=[x_1, x_2, ,, x_K]x=[x1​,x2​,,,xK​]的某些值。那么经过dropout之后的向量定义为ddd，有x′=dropout(x)x' = dropout(x)x′=dropout(x)这个过程相当于生成一个随机的KKK维的mask，这个mask的生成过程如下：r=rand(K)=[r1,r2,,,rK]，其中0<ri<1。mask={0   

https://zhuanlan.zhihu.com/p/349973983

pytorch中bool类型是可以作为索引的，同时也支持sum等操作。索引时相当于取出为True等位置的元素之后组成一个新的tensor.

例1假设我们函数是y=(x+w)∗(w+1)y=(x+w)*(w+1)y=(x+w)∗(w+1)，我们要求yyy对x和wx和wx和w的导数，应该如何用pytorch来求解。上面的计算图表示y=(x+w)∗(w+1)y=(x+w)*(w+1)y=(x+w)∗(w+1)，先计算括号内部的加法，再计算乘法。计算顺序是：a=x+wa=x+wa=x+w，b=w+1b=w+1b=w+1，y=a∗by=a*by=a∗b。用代码来表示：import torchw = torch.tensor([1.], re

pytorch中求导可以借助tensor.backward()和torch.autograd.grad()来完成，backward()函数应该很熟悉了，模型的的参数求导一般是使用这个函数来完成。backward()默认是标量对参数求导，如果是向量对参数求导，要传入一个维度和向量一样的tensor。torch.autograd.grad(outputs, inputs, grad_outputs, retain_graph, create_graph, only_inputs)也可用来对参数求导，这函数的参

激活你的环境，使用下面的命令安装jupyterpip install jupyter使用下面命令进入~/.jupyter/cd ~/.jupyter生成密码jupyter notebook password会在.jupyter这个目录下面生成文件jupyter_notebook_config.jsonvim jupyter_notebook_config.py，生成一个新的文件。填入下面的内容c.NotebookApp.ip='*' # 星号代表任意ip，这个跟mysql的权限设置一样.

最常见的就是出现了除0或者log0这种，看看代码中在这种操作的时候有没有加一个很小的数，但是这个数数量级要和运算的数的数量级要差很多。一般是1e-8。在optim.step()之前裁剪梯度。optim.zero_grad()loss.backward()nn.utils.clip_grad_norm(model.parameters, max_norm, norm_type=2)optim.step()max_norm一般是1，3，5。前面两条还不能解决nan的话，就按照下面的流程来判.

import torchx = torch.randint(10, 20, (3,4)) # [3,1,4]y = torch.randint(0, 9, (2,4)) # [2,1,4]print(x)print(y)z = x.unsqueeze(1) - y.unsqueeze(0) # p[3, 2, 4]'''tensor([[10, 19, 14, 14], [17, 15, 16, 12], [15, 16, 12, 17]])ten

很多博客都这样写optimizer = torch.optim.SGD(model.parameters(), lr=0.1)scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)def train(...): for i, data in enumerate(train_loader): ...... y_ = model(x) loss

本来是用Dataparallel来微调，但是发现gpu0上负载太大了，后来上面一看，pytorch官网推荐使用DistributedDataParallel，这个方法可以用于多机多卡或者单机多卡，速度和各方面都比Dataparallel要好很多。我主要看了下面两个博客：【分布式训练】单机多卡的正确打开方式（三）：PyTorchpytorch(分布式)数据并行个人实践总结——DataParallel/DistributedDataParallel这里说一下Dataparallel和Distribute

pytorch使用scatter构建onehot向量，scatter不仅可以用来构建one-hot向量，也可以用来对矩阵进行修改。

在用transformers中的BertForMaskedLM来预测被mask掉的单词时一定要加特殊字符[CLS]和[SEP][CLS]和[SEP][CLS]和[SEP]。不然效果很差很差！！！from transformers import AlbertTokenizer, AlbertForMaskedLMimport torchtokenizer = AlbertTokenizer.from_pretrained('albert-base-v2', cache_dir='E:/Projects

以下方法win平台和linux平台应该都可以。第一步：替换源激活conda虚拟环境，并输入以下命令。conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --set show_channel

import torchfrom torch import nnimport matplotlib.pyplot as pltimport numpy as npdot_num = 100x_p = np.random.normal(3., 1, dot_num)y_p = np.random.normal(6., 1, dot_num)label_p = np.ones(dot_num)C1 = np.array([x_p, y_p, label_p]).T # 标签为1的数

model.named_parameters()return : 返回model的所有参数的(name, tensor)的键值对。可以修改参数的requires_grad属性。用法 : 常用于对网络的参数进行一些特殊的处理（比如 fine-tuning）。no_decay = ['bias', 'LayerNorm.weight']optimizer_grouped_parameters = [ {'params': [p for n, p in model.named_parame

权重衰减L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。Bert中的权重衰减并不是所有的权重参数都需要衰减，比如bias，和LayerNorm.weight就不需要衰减。from transformers import BertConfig, BertForSequenceClassification, AdamWimport...

Transformers库也叫（pytorch-transformers and pytorch-pretrained-bert）,提供了很多SOTA的预训练模型，比如BERT, GPT-2, RoBERTa, XLM, DistilBert, XLNet, CTRL…这个库比上一篇博客中讲的 pytorch-pretrained-bert库更完整，bert的使用方法略有不同，不需要自己手动去下...

转载自：9012年，该用bert打比赛了从下载模型权重开始# 切换到你的anaconda　gpu 环境# source activate 你的conda环境名称​# 安装加载预训练模型＆权重的包pip install pytorch-pretrained-bert接着就是下载模型权重文件了，pytorch-pretrained-bert官方下载地址太慢了…，推荐去kaggle下载L...

torch.stack()是将原来的几个tensor按照一定方式进行堆叠，然后在按照堆叠后的维度进行切分。有a，b，c三个tensor.dim=0dim=1dim=2参考：torch.stack(), torch.cat()用法详解...

在tensor后面加.item()即可。import torcha = torch.LongTensor([10])b = a.data # 还是tensorc = a.item() # int类型，而且只有单个元素才可以用.item()转化print(b, type(b))print(c, type(c))'''输出tensor([10]) <class...

Pytorch详解NLLLoss和CrossEntropyLoss

Pytorch中的RNN之pack_padded_sequence()和pad_packed_sequence()

pytorch的状态字典 state_dict

PyTorch简明笔记[2]-Tensor的自动求导(AoutoGrad)

torch.cat()torch.squeeze()torch.unsqueeze()torch.stack()torch.sum()torch.sum(input, dim, out=None) → Tensor#input (Tensor) – 输入张量#dim (int) – 缩减的维度#out (Tensor, optional) – 结果张量...

PyTorch基础入门一：PyTorch基本数据类型

换了清华的源之后，官网的命令是下面的：conda install pytorch=1.1.0 torchvision=0.3.0 cudatoolkit=9.0 -c pytorch但是经常会报HTTP error的错误，将-c pytorch删除即可conda install pytorch=1.1.0 torchvision=0.3.0 cudatoolkit=9.0...

函数class torch.nn.LSTM(*args, **kwargs)参数列表input_size：x的特征维度hidden_size：隐藏层的特征维度num_layers：lstm隐层的层数，默认为1bias：False则bih=0和bhh=0. 默认为Truebatch_first：True则输入输出的数据格式为 (batch, seq, feature)dropou...

pytorch中的ModuleList 和 Sequential: 区别和使用场景PyTorch 中，nn 与 nn.functional 有什么区别

一维卷积nn.Conv1d一般来说，一维卷积nn.Conv1d用于文本数据，只对宽度进行卷积，对高度不卷积。通常，输入大小为word_embedding_dim * max_length，其中，word_embedding_dim为词向量的维度，max_length为句子的最大长度。卷积核窗口在句子长度的方向上滑动，进行卷积操作。定义class torch.nn.Conv1d(in_chan...

如何从已经训练好的词向量矩阵中读取词向量呢？假设embeddings是我们训练好的词向量矩阵，我们要从中每次读取batch_size个句子的词向量。# 首先使用nn,Embedding定义一个词向量矩阵，称作embedembed = nn.Embedding(embeddings.shape[0], embeddings.shape[1])# 接下来将embeddings中的值拷贝到emb...