Python编程：节省内存的办法（持续更新ing...）

诸神缄默不语-个人优快云博文目录

最近更新时间：2022.4.27
最早更新时间：2022.4.27

本文将介绍Python编程时节省内存的方法。
其实我一般使用CPU运行代码时不太有内存问题，主要是在用GPU时会遇到OOM问题，需要节省内存。因此本文接下来的内容会涉及CPU、GPU通用的方法，和使用GPU（主要是使用PyTorch框架）时的解决方案。

1. 调用gc：

import gc
del obj
gc.collect()

2. 使用PyTorch时，如果不需要积累任何梯度，可以使用with torch.no_grad()（在循环语句里面正常运算即可），可以有效降低梯度占据的内存（梯度可以占相当大的一部分）。
   如果仅不需要积累特定张量的梯度，可以将对应张量的requires_grad属性置False。（这是没有注册的张量的默认属性）
   （注意，仅使用model.eval()不能达到这个效果）
3. 使用PyTorch清cuda上的缓存：torch.cuda.empty_cache()（官方文档：torch.cuda.empty_cache — PyTorch 1.11.0 documentation，此外可参考【pytorch】torch.cuda.empty_cache()==＞释放缓存分配器当前持有的且未占用的缓存显存_马鹏森的博客-优快云博客_empty_cache）
4. 其他使用Python对cuda进行内存管理可以参考官方笔记 CUDA semantics - Memory management