pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB

Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB

解决方法：

法一：

调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。

法二：

在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）：

import torch, gc

gc.collect()
torch.cuda.empty_cache()

法三（常用方法）：

在测试阶段和验证阶段前插入代码 with torch.no_grad()（目的是该段程序不计算参数梯度），如下：

def t