CUDA_ERROR_OUT_OF_MEMORY: out of memory； total memory reported: 34058272768

CUDA内存不足：解决深度学习GPU资源管理

最新推荐文章于 2023-08-15 20:40:38 发布

原创

最新推荐文章于 2023-08-15 20:40:38 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #cuda #gpu #tensorflow #ubuntu

本文讨论了在Ubuntu 16.04系统上，使用CUDA 10.0和CUDNN 7.6.5时遇到的CUDA_ERROR_OUT_OF_MEMORY问题。在训练深度学习模型过程中，由于GPU显存不足（34GB）导致错误。为解决这个问题，建议在代码中设置显存限制，例如限制显存占用为7GB，以优化GPU资源利用。

环境

Ubuntu: 16.04
CUDA: 10.0
CUDNN: 7.6.5

执行情况

$ python3 train.py
{'train': {'data_loader': {'batch_size': 1, 'resize_shape': [600, 600], 'train_and_val': 0.8, 'train_img': './data/sample/train_data/train_images', 'train_txt': './data/sample/train_data/train.txt'}, 'save_model': {'h5_savePath': './saved_models/model_epoch{epoch}.h5', 'save_freq': 5000, 'pb_save_path': './saved_models/train'}, 'base_model': {'input_shape': [600, 600, 3], 'pretrain_model': 'imagenet', 'trainable': True, 'model_name': 'None', 'num_classes': 2}, 'log_dir': './logs', 'epochs': 50, 'learning_rate': 0.001}, 'test': {'pb_load_path': './saved_models/train', 'test_img': '/aisdata/dataset/table_images/cnn/test/2/all', 'test_txt': './cnn_test_2.txt'}, 'infer': {'infer_img': './data/sample/infer_data/'}}
2020-10-12 17:39:57.117669: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcuda.so.1
20