laice的博客

torch.nn.**是一个继承了torch.nn.Module的类，使用前必须先构造对象，然后再调用。如果直接使用则会报错。torch.nn.functional.**是一个纯数学函数，可以直接使用。

pytorch中常用的矩阵乘法有：矩阵相乘和两个元素相乘。

每次进行相关的运算都要去搜一下这个函数的dim应该是怎么设置，dim=0的时候，是按照哪一维度来操作的，dim=1的时候，又是按照哪一维度来操作的，这就比较繁琐，在此总结一个dim选择的统一方法。Pytorch中存在大量的矩阵操作，都需要指定操作维度才能正确的计算，像矩阵的转置permute，矩阵的归一化Softmax，矩阵按照某一维度进行求平均/求和等。例如：矩阵的softmax操作。例如：矩阵的sum操作。

激活函数有两类，第一类是对单个元素进行操作的，，例如ReLU，LeakyReLU，Tanh，Sigmoid。第二类是对某组元素进行放缩，使该组元素和为1，，例如Softmax。

pytorch中存在很多矩阵变化函数，要想搞明白不同函数之间的区别，就需要了解矩阵在底层是如何实现的。