Cudnn占用大量内存问题

在部署3D图像识别模型时,发现模型裁剪后内存占用减少不明显,主要由cudnn初始化导致。通过NVIDIA提供的代码测量GPU内存,发现在调用cudnn API后,内存占用增加约550MB。这表明模型进一步优化的空间有限,总计约800MB内存用于模型、封装插件和cudnn。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

      近来在对一个3D图像识别模型做部署裁剪时发现,做了一些有效的裁剪后,模型启动后占用的内存虽然减少了两三百个M,但是再继续对网络做裁剪缺减少不明显了,包含封装调用这个模型的deepstream插件在内始终占用800多个M,感觉很奇怪,于是花了些时间,捣腾琢磨网络本身的C++实现代码,找出哪些代码执行后占用了可观的内存,最后发现,其他跟训练有关的可减的都减了也没见省多少内存,但是模型启动的过程中,当cudnn的API被第一次调用时,启动有卡顿,同时看着内存一路不停飙升,把相关网络层的代码注释掉试试,结果后面的网络层中调用到cudnn的API时内存又照样飙升,看来cudnn需要占用很多内存。

     为了确认这点,查找了NVIDIA论坛,发现有人也反应过类似问题,NVIDIA也提供了个测试代码用于确认cudnn占用了多少内存,这个代码挺有用的,既可以用于测量你的GPU的内存多大(对于服务器上的NVIDIA GPU,各种型号GPU的内存大小都是已知的,但是对于Jetson各种板子上的GPU,NVIDIA给出各种板子的参数时从来不告诉你上面的GPU的内存是多大,这点很奇怪,似乎怕竞争对手知道?有了下面的代码就可以测量出来了,Nano上的GPU的内存是3.9G多,也就是4G),很显然这个代码可作为个小工具使用,记下来以便以后使用:

#include <stdio.h>
#include "cuda.h"
#include "cudnn.h"
#define ONE_MBYTE (1024*1024)

void printMemInfo()
{
    size_t free_byte ;
    size_t total_byte ;
    cudaError_t cuda_status = cudaMemGetInfo( &free_byte, &total_byte ) ;

    if ( cudaSuccess != cuda_status ){
        printf("Error: cudaMemGetInfo fails, %s\n", cudaGetErrorString(cuda_status));
        exit(1);
    }

    double free_db = (double)free_byte ;
    double total_db = (double)total_byte ;
    double used_db = total_db - free_db ;

    printf(" GPU memory usage: used = %.2f MB, free = %.2f MB, total = %.2f MB\n", used_db/ONE_MBYTE, free_db/ONE_MBYTE, total_db/ONE_MBYTE);
}

int main(){
    printf("Initial memory:");
    printMemInfo();

    cudnnHandle_t handle_;
    cudnnCreate(&handle_);
    printf("After cuDNN create:");
    printMemInfo();

    return 0;
}

   假设文件名叫test_gpu_cudnn_mem.cu,用nvcc编译它,然后执行:

        nvcc test_gpu_cudnn_mem.cu -lcudnn -o test_gpu
       ./test_gpu

可以看到类似下面的结果打印出来:

Initial memory: GPU memory usage: used = 1933.53 MB, free = 2022.68 MB, total = 3956.21 MB
After cuDNN create: GPU memory usage: used = 2484.90 MB, free = 1471.31 MB, total = 3956.21 MB

可以看到总的GPU内存是3.95621G也就是4G吧,cudnn的API被调用后,内存占用一下多了550M左右,运行多次可以看到虽然每次used数值不大一样,但是cudnn起来后,内存占用增加了550M左右。

     通过这个小程序知道,我要裁剪的模型已经没什么好减的了,还有100多M的参数和封装调用这个模型的deepstream插件占用的内存,加上cudnn占用的550M多内存,总共800M左右,也就那样了。  

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Arnold-FY-Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值