踩过cuda、cudnn的坑[持续更新]

加载torch模型，测试数据
导致内存溢出，

RuntimeError: CUDA out of memory.	# 内存溢出

运行一段时间，程序再崩：
那估计就是代码中有加载到内存中的东西没有释放。
如 运行plt模块会造成内存溢出，估计是plt模块未释放：

plt.close("all")

如果是TensorFlow的框架问题:
设定一下TensorFlow框架的消耗显存

# 使用GPU30% 的显存
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)
sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
# 根据使用需求增长分配显存
config = tf.ConfigProto()  
config.gpu_options.allow_growth=True  
sess = tf.Session(config=config) 

显卡问题的解决方案：

# 禁用cudnn
torch.backends.cudnn.benchmark = Flase

可以使程序正常运行，但是降低运行速度，并且全局禁用cudnn。
建议：
当你跑完这个训练项目的时候，新建一个test.py，插入一下代码，运行一遍。

import torch
# 开启cudnn
torch.backends.cudnn.benchmark = True

如下，该错误基本是由于Torch版本和CUDA版本不匹配的原因，对你Torch版本进行修改。

RuntimeError: CUDNN_STATUS_MAPPING_ERROR