Decennie的博客

num_oov = max(torch.max(ext_src_seq - self.vocab_size + 1), 0)误区解读：ext_src_seq： [batch_size， sequence_len]self.vocab_size: 50000ext_src_seq - self.vocab_size + 1：这种运算实际上是对ext_src_seq中的每个元素进行加减运算，相当于把self.vocab_size广播成[batch_size， sequence_len]...

【Pytorch】repeat()和expand()区别

Pytorch中的Size, storage offset, stride概念PyTorch中的contiguous

文章目录0. Introduction1. 定义2. 详解例1例2Reference：0. Introductionscatter() 和 scatter_() 的作用是一样的，只不过 scatter() 不会直接修改原来的 Tensor，而 scatter_() 会PyTorch 中，一般函数加下划线代表直接在原来的 Tensor 上修改1. 定义scatter(dim, index, src) 的参数有 3 个dim：沿着哪个维度进行索引index：用来 scatter 的元素索引

pytorch中torch.sign()函数简介

collate_fn 参数当继承Dataset类自定义类时，__getitem__方法一般返回一组类似于（image，label）的一个样本，在创建DataLoader类的对象时，collate_fn函数会将batch_size个样本整理成一个batch样本，便于批量训练。default_collate(batch)中的参数就是这里的 [self.dataset[i] for i in indices]，indices是从所有样本的索引中选取的batch_size个索引，表示本次批量获取这些样本进行训练

Pytorch模型中的parameter与buffer

torch.optim优化算法理解之optim.Adam()torch.AdamW优化算法+超级收敛

pytorch获取张量元素个数numel()的用法

pytorch：torch.cuda中的函数

Pytorch 中的 Tensor , Variable & Parameter

[pytorch with torch.no_grad和torch.set_grad_enabled用法区别(作用是一样的)]

[torch.nn.utils.clip_grad_norm_用于梯度裁剪]

pytorch torch.topk用法import torchpred = torch.randn((4, 5))print('pred是', pred, "\n")values, indices = pred.topk(2, dim=1, largest=True, sorted=True)print("values是", values, "\n")print("indices是", indices, "\n")输出：pred是 tensor([[-0.7044, -0.3443,

pytorch torch.multinomial()import torchw = torch.arange(12,dtype=torch.float).view(3,4)print(w)out = torch.multinomial(w,2)print(out)tensor([[ 0., 1., 2., 3.], [ 4., 5., 6., 7.], [ 8., 9., 10., 11.]])tensor([[2, 1], [

python json模块 超级详解

pytorch register_buffer()详解

torch.tril详解

浅谈 PyTorch 中的 tensor 及使用

pytorch中的.detach和.data深入详解

PyTorch的F.dropout为什么要加self.training

将src中的元素复制到tensor中并返回这个tensor; 两个tensor应该有相同shape

nn.Embedding.weight初始化分布

深度学习源码中经常出现的logits其实和统计中定义的logit=log(p/1-p)没什么太大关系，就是定义的神经网络的一层输出结果。该输出一般会再接一个softmax layer输出normalize 后的概率，用于多分类。

UserWarning:RNN module weights are not part of single contiguous chunk of memory.

Pytorch数据加载——Dataset和DataLoader详解PyTorch 源码解读之 torch.utils.data：解析数据处理全流程DataLoader只是根据index从DataSet中取出数据而已,数据内容是什么形式DataLoader并不关心

Pytorch 模型存储及加载 torch.save() model.load_state_dict(torch.load(PATH)) 保存checkpoint

PyTorch的六个学习率调整方法

pytorch nn.Module类详解Pytorch中的网络构造pytorch中文文档pytorch教程之nn.Module类详解——state_dict和parameters两个方法的差异性比较import torchimport torch.nn.functional as Ffrom torch.optim import SGDclass MyNet(torch.nn.Module): def __init__(self): super(MyNet, self

PyTorch 常用方法总结2：常用Tensor运算（均值、方差、极值、线性插值……

pytorch F.cross_entropy详解

pytorch .apply()模块参数初始化

glue激活函数详解

双向LSTM中 output, h_n, c_n 状态详解LSTM详解(经典之作)class torch.nn.LSTM(*args, **kwargs)参数列表input_size：x的特征维度hidden_size：隐藏层的特征维度num_layers：lstm隐层的层数，默认为1bias：False则bih=0和bhh=0. 默认为Truebatch_first：True则输入输出的数据格式为 (batch, seq, feature)dropout：除最后一层，每一层的输出都进行d

pytorch中的expand（）和expand_as（）函数expand（）函数只能将size=1的维度扩展到更大的尺寸，如果扩展其他size（）的维度会报错。

torch.mul、torch.mm、torch.bmm、torch.matmul的区别torch.matmul()用法介绍结论从官方文档可以看出,mm只能进行矩阵乘法,也就是输入的两个tensor维度只能是(n×m)和(m×p)( n × m ) 和( m × p )(n×m)和(m×p)bmm是两个三维张量相乘, 两个输入tensor维度是(b×n×m)和(b×m×p)(b×n×m) 和(b×m×p)(b×n×m)和(b×m×p), 第一维b代表batch size，输出为(b×n×p)(b

pytorch结构函数tensor.view()和terson.reshape()，以及contiguous()为何存在关于连续contiguous()目前pytorch只要是transpose()和permute()这两个函数用过后，tensor都会变得不再连续，就不可以使用view().调用contiguous()时，会强制拷贝一份tensor，让它的布局和从头创建的一毛一样。（这一段看文字你肯定不理解，你也可以不用理解，有空我会画图补上）你只需要记住了，使用view()之前，只要使用了tra

pytorch masked_fill方法简单理解

PyTorch 中，nn 与 nn.functional 有什么区别？

torch.bmm专门用于三维矩阵的乘法