qq_18310041的博客

TensorTensor的基本数据类型有五种：32位浮点型：torch.FloatTensor。 (默认)64位整型：torch.LongTensor。32位整型：torch.IntTensor。16位整型：torch.ShortTensor。64位浮点型：torch.DoubleTensor。除以上数字类型外，还有 byte和chart型基本操作如下：# torch...

激活函数的性质1. 非线性：即导数不是常数。保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。2. 可微性：可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU，只满足几乎处处可微（即仅在有限个点处不可微）。对于SGD算法来说，由于几乎不可能收敛到梯度接近零的位置，有限的不可微点对于优化结果不会有很大影响。3. 计算简...

torch.__version__版本为-1.1.01.首先引入包，定义 填充符 PAD_token、开始符 SOS_token 、结束符 EOS_token# 在开头加上from __future__ import print_function这句之后,如果你的python版本是python2.X，你也得按照python3.X那样使用这些函数。# Python提供了__futu...

代码来源：http://nlp.seas.harvard.edu/2018/04/03/attention.html1. 首先加载包：import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport math, copy, timefrom torch.autogra...