fireflychh的博客

由于网络里连用两个nn.ReLU(inplace = True)，由于是inplace操作，所以不产生中间变量，导致backward的时候，缺失这部分需要的变量，测试了将 inplace = False，不行，pass。通过nvidia-smi查看显存占用，通过fuser -v /dev/nvidia*进行nvidia的进程，变量赋值时出现错误，就是不能使用 += 等符号，将其拆开写，测试了下，成功。可能是gpu中的显存被占用没有清空；变量名不能用一样的，不行，pass。

一般参数情况下有学习参数使用nn.Module，其他情况用nn.functional相对更简单一些。其中先看官网安装torch需要的cuda版本，之后安装cuda版本，之后采用pip 下载对应的torch的gpu版本whl来进行安装。6、加载预训练模型，torchvision中有很多经典网络架构，调用起来十分方便，并且可用人家训练好的权重参数来继续训练，也就是所谓的迁移学习。需要注意的是别人训练好的任务跟咱们得可不是完全一样，需要把最后head层改一改，一般也就是最后的全连接层，改成咱们自己的任务；

2、为jupyter添加新的kernel，将conda通过source activate fuyao1切换到对应的环境，之后。3、在jupyter中使用from argparse import SUPPRESS, ArgumentParser。args = cls._parser.parse_args(args=[]) 需要在括号中添加args=[]) 在对应位置添加默认内容default即可。1、获取jupyter 对应kernel。