关于paddlepaddle使用推理模式时CUDA error:out of memory错误的解决办法

在paddlepaddle的export.py导出的模型（也就是生成__model__,params,deploy.yaml三个文件），
运行时报错Out of memory error on GPU 0. Cannot allocate 32.959229MB memory on GPU 0, available memory is only 3.287499MB.

其实显卡时内存足够的。

解决办法：

在程序运行的前面添加如下代码

import os
os.environ['FLAGS_eager_delete_tensor_gb'] = "0.0"

主要作用是 GPU memory garbage collection optimization flags

原文链接：https://blog.youkuaiyun.com/weixin_44831720/article/details/105507386