nan1104的博客

使用Pytorch也一年多了，记录一下自己遇到的各种问题。各种踩坑记录loss.backward()报错一种非常常见的错误，在网络前向传播时没问题，但是当loss.backward()时会报错导致这个错误的原因非常多样in-place操作导致，具体的in-place操作有很多，例如squeeze_(), x[:]=y, 等等，网上相关资料很多，不细写loss需要是一个标量，如果是向量的话，需要x.sum();有些向量不需要传递梯度时，使用x.detach()截断梯度传递；一个非常有用的命令

训练模型时，对梯度进行截断import torch as t_ = nn.utils.clip_grad_norm_(model.parameters(), clip)2.load预训练好的模型cpu->cpu或者gpu->gpu,直接model.load_state_dict(t.load(param_file)) # load模型gpu上训练，在cpu上载入...

1、乘法torch中矩阵元素点乘【哈达马积(hadamard product)】为t.mul(batch数据也是)torch中矩阵乘法为t.mm 涉及到batch的矩阵乘法为t.bmm, t.matmul也可以

1、cuDNN版本不匹配被这个问题困了一上午。。。首先$LD_LIBRARY_PATH显示的路径为/usr/local/cuda-9.0/lib64cd到这个路径下发现对应的cudnn版本为7102但是conda list显示自己anaconda对应的cudnn版本为7301因此产生了版本不匹配解决方案: conda install cudnn=7.1.2将自己的cudnn版本改...

python: symbol lookup error: /home/wrn/anaconda3/lib/python3.6/site-packages/numpy/core/…/…/…/…/libmkl_intel_thread.so: undefined symbol: __kmpc_global_thread_num在服务器上运行Pytorch程序时，出现了这个报错服务器上的各个包版本为...