qq_42256930的博客

random.seed(all_args.seed): 设置Python内置的随机数生成器的种子，影响Python中的随机数生成。: 设置PyTorch在所有CUDA设备上的随机种子，以确保多GPU环境下的一致性。: 设置PyTorch在CUDA上的随机种子，用于GPU加速的随机数生成。: 设置PyTorch的随机种子，用于生成随机数，以确保实验的可重复性。: 设置NumPy的随机种子，用于NumPy库中的随机数生成。

nn.GRU是一个完整的GRU层,它接受一个3D输入张量(batch_size, seq_length, input_size),输出也是一个3D张量(batch_size, seq_length, hidden_size)。nn.GRUCell是GRU的单个单元,它接受一个2D输入张量(batch_size, input_size),输出也是一个2D张量(batch_size, hidden_size)。总的来说,nn.GRU更适合处理整个序列,而nn.GRUCell更适合需要灵活控制的场景。

在这个例子中，loss.backward() 计算的梯度方向是损失函数上升的方向，而 optimizer.step() 则使用了梯度的负方向来更新模型参数。

【代码】A.requires_grad_(),设置为TRUE，则更新一次，A的值将被更新一次．。

【代码】子类和父类存在同名函数的时候。

contiguous()一般在permute()等改变形状和计算返回的tensor后面，因为改变形状后，有的tensor并不是占用一整块内存，而是由不同的数据块组成，而tensor的view()操作依赖于内存是整块的，这时只需要执行contiguous()这个函数，把tensor变成在内存中连续分布的形式。permute函数将tensor的维度换位。

model.parameters()方法返回的是一个生成器generator，每一个元素是从开头到结尾的参数，parameters没有对应的key名称，是一个由纯参数组成的generator，而state_dict是一个字典，包含了一个key。

【代码】torch.tile用法。

gumbel softmax允许模型从离散的分布（比如类别分布categorical distribution）中采样的这个过程变得可微，从而允许反向传播时可以用梯度更新模型参数。

简单来说，就是分阶段调整学习率．。

作用:降低显存使用情况使用方法比较简单，且好理解，可以参照这篇博客https://zhuanlan.zhihu.com/p/165152789

参考链接:

我遇到这个问题的原因是,数据已经放到GPU上,但是模型还在Cpu上,因此会遇到这个问题.解决方法就是,先把模型也放到GPU上,然后在把放到GPU上的数据输入到模型中.