qq_42873479的博客

PyTorch——激活函数激活函数Loss及其梯度全连接层交叉熵激活函数与GPU加速激活函数torch.sigmoid：范围在[0，1]，光滑可导，但在趋近0和1时容易出现梯度离散。torch.tanh：范围在[-1,1]torch.relu/F.relu：不可导，但计算简单常用F.softmaxLoss及其梯度MSE：autograd.gradloss.backwardGradient APIF.softmax全连接层nn.layer类方法：step 1：

PyTorch——基础基础数据类型创建Tensor索引和切片基础数据类型Type：PS：GPU里的cuda类型与CPU里的不同，可以转换Dimension 0：常用于LossDimension 1：常用于biasDimension 2：常用于线性输入batchDimension 3：用于循环神经网络RNN输入Dimension 4：用于卷积神经网络CNN输入[b, c, h, w]Mixed：a.numel() 输入所有元素个数，内存大小创建TensorImport