qq_44876051的博客

叶子节点和非叶子节点 pytorch的tensor类中，有个叫is_leaf的属性，其为True则该变量为叶子节点，false则为非叶子节点。一般地：由用户自己创建的变量为叶子节点，网络层中的各层权重也为叶子节点。由叶子节点得到的中间变量为非叶子节点。 反向传播后， 非叶子节点的梯度不会保存在内存中，如需保存非叶子节点的梯度，需调用retain_grad方法 import torch a = torch.tensor([1.,2.,3.,4.,5.],requires_grad=True) b..

torch.gather(input, dim, index, *, sparse_grad=False, out=None) → Tensor 沿着由dim指定的轴，采集输入的数值 输出的数学表达式： out[i][j][k] = input[index[i][j][k]][j][k] # if dim == 0 out[i][j][k] = input[i][index[i][j][k]][k] # if dim == 1 out[i][j][k] = input[i][j][index[i][.