Cudnn占用大量内存问题

最新推荐文章于 2025-08-24 11:33:01 发布

原创

最新推荐文章于 2025-08-24 11:33:01 发布 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#cudnn #memory #Jetson #nvidia

在部署3D图像识别模型时，发现模型裁剪后内存占用减少不明显，主要由cudnn初始化导致。通过NVIDIA提供的代码测量GPU内存，发现在调用cudnn API后，内存占用增加约550MB。这表明模型进一步优化的空间有限，总计约800MB内存用于模型、封装插件和cudnn。

近来在对一个3D图像识别模型做部署裁剪时发现，做了一些有效的裁剪后，模型启动后占用的内存虽然减少了两三百个M，但是再继续对网络做裁剪缺减少不明显了，包含封装调用这个模型的deepstream插件在内始终占用800多个M，感觉很奇怪，于是花了些时间，捣腾琢磨网络本身的C++实现代码，找出哪些代码执行后占用了可观的内存，最后发现，其他跟训练有关的可减的都减了也没见省多少内存，但是模型启动的过程中，当cudnn的API被第一次调用时，启动有卡顿，同时看着内存一路不停飙升，把相关网络层的代码注释掉试试，结果后面的网络层中调用到cudnn的API时内存又照样飙升，看来cudnn需要占用很多内存。

为了确认这点，查找了NVIDIA论坛，发现有人也反应过类似问题，NVIDIA也提供了个测试代码用于确认cudnn占用了多少内存，这个代码挺有用的，既可以用于测量你的GPU的内存多大(对于服务器上的NVIDIA GPU，各种型号GPU的内存大小都是已知的，但是对于Jetson各种板子上的GPU，NVIDIA给出各种板子的参数时从来不告诉你上面的GPU的内存是多大，这点很奇怪，似乎怕竞争对手知道？有了下面的代码就可以测量出来了，Nano上的GPU的内存是3.9G多，也就是4G)，很显然这个代码可作为个小工具使用，记下来以便以后使用：

#include <stdio.h>
#include "cuda.h"
#include "cudnn.h"
#define ONE_MBYTE (1024*1024)

void printMemInfo()
{
    size_t free_byte ;
    size_t total_byte ;
    cudaError_t cuda_status = cudaMemGetInfo( &free_byte, &total_byte ) ;

    if ( cudaSuccess != cuda_status ){
        printf("Error: cudaMemGetInfo fails, %s\n", cudaGetErrorString(cuda_status)