2021-3-19

1. 看论文要注意论文未解决的问题和可能的解决方案，今天深刻体会了。

2. top 命令可以查看系统当前的pid, user等信息，可以用来kill -9 强制停止程序

3. .pth 和 .pth.tar都可以直接load

4. torch.save() 和 torch.load()
   一、save()
   先建立一个字典，保存三个参数：
   state = {‘net’:model.state_dict(), ‘optimizer’:optimizer.state_dict(), ‘epoch’:epoch}
   2.调用torch.save():torch.save(state, dir)
   其中dir表示保存文件的绝对路径+保存文件名，如’/home/qinying/Desktop/modelpara.pth’
   二、load()
   当你想恢复某一阶段的训练（或者进行测试）时，那么就可以读取之前保存的网络模型参数等。
   cpu->cpu, gpu->gpu 不用加maplocation
   gpu->cpu map_location=‘cpu’
   checkpoint = torch.load(dir,map_location=torch.device(‘cpu’))
   model.load_state_dict(checkpoint[‘net’])
   optimizer.load_state_dict(checkpoint[‘optimizer’])
   start_epoch = checkpoint[‘epoch’] + 1

5. 如果多卡跑程序，一个进程结束，另一个不一定结束，这时候会占用现存。要手动kill

6. gpustat 插件可以动态查看gpu使用情况，vim ~/.bashrc
   alias mn = “watch --color -n 2 gpustat --color”
   退出来后source ~/.bashrc即可

7. 多头注意力，每个头都还有一个权重。

8. pytorch康复训练

9. einops 学习一下