使用openpose出现Check failed: error == cudaSuccess (2 vs. 0) out of memory错误

在使用openpose的docker执行命令时，出现下述错误提示

root@1015281c1858:/openpose# python3 consecutive_openpose.py 
Starting OpenPose demo...
Configuring OpenPose...
Starting thread(s)...
F1117 06:45:27.081745    90 syncedmem.cpp:71] Check failed: error == cudaSuccess (2 vs. 0)  out of memory
*** Check failure stack trace: ***
    @     0x7f36e3efb5cd  google::LogMessage::Fail()
    @     0x7f36e3efd433  google::LogMessage::SendToLog()
    @     0x7f36e3efb15b  google::LogMessage::Flush()
    @     0x7f36e3efde1e  google::LogMessageFatal::~LogMessageFatal()
    @     0x7f36e34f41b8  caffe::SyncedMemory::mutable_gpu_data()
    @     0x7f36e34f63c2  caffe::Blob<>::mutable_gpu_data()
    @     0x7f36e35337fd  caffe::ConcatLayer<>::Forward_gpu()
    @     0x7f36e34e1bd1  caffe::Net<>::ForwardFromTo()
    @     0x7f36e5437830  op::NetCaffe::forwardPass()
    @     0x7f36e5465297  op::HandExtractorCaffe::detectHandKeypoints()
    @     0x7f36e5466b96  op::HandExtractorCaffe::forwardPass()
    @     0x7f36e54606c9  op::WHandExtractorNet<>::work()
    @     0x7f36e5450769  op::Worker<>::checkAndWork()
    @     0x7f36e545090b  op::SubThread<>::workTWorkers()
    @     0x7f36e54593db  op::SubThreadQueueInOut<>::work()
    @     0x7f36e54536bb  op::Thread<>::threadFunction()
    @     0x7f36e4de0c80  (unknown)
    @     0x7f36e45326ba  start_thread
    @     0x7f36e484f41d  clone
    @              (nil)  (unknown)
Aborted (core dumped)

在openpose的github上找到类似的错误，其中是说CUDA和CUDNN版本不匹配

实验环境用的CUDA版本是10.0，CUDNN版本是7.3

将CUDNN更新到7.6.5和7.5.1之后还是报同样的错误

 

后来发现是由于使用的GPU数量太少导致的，而且我的错误提示是out of memory，而github上的错误提示是CUDNN_STATUS_NOT_INITIALIZED，说明不是同一个错误

实验室的管理员也说CUDNN高版本是向下兼容的，使用高版本还是出错的话就不是CUDNN的问题了

使用openpose的docker时至少要使用4块GPU，否则就会提示内存不足，而且还要从编号0开始才不容易出错（好像是内部已经设置好了必须从0开始，要想好用一点还是自己重新装一个OpenPose，而不是用docker）。