CUDA Error: out of memory darknet: ./src/cuda.c:36: check_error: Assertion `0' failed. Aborted

最新推荐文章于 2023-12-19 09:10:58 发布

原创

最新推荐文章于 2023-12-19 09:10:58 发布 · 3.6k 阅读

12 ·

CC 4.0 BY-SA版权

在运行darknet进行目标检测训练时遇到了CUDA内存不足的问题，具体表现为'Assertion `0' failed.'错误。这可能是由于GPU资源被其他程序占用或者是cfg配置文件中subdivision参数设置不当导致。解决方案包括等待GPU空闲或调整cfg文件中subdivisions的值，如将subdivisions从8改为64，以适应更大的内存需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

wu@wu-X555LF:~/darknet$ ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74
yolov3-voc
layer     filters    size              input                output
    0 conv     32  3 x 3 / 1   416 x 416 x   3   ->   416 x 416 x  32  0.299 BFLOPs
    1 conv     64  3 x 3 / 2   416 x 416 x  32   ->   208 x 208 x  64  1.595 BFLOPs
    2 conv     32  1 x 1 / 1   208 x 208 x  64   ->   208 x 208 x  32  0.177 BFLOPs
    3 conv     64  3 x 3 / 1   208 x 208 x  32   ->   208 x 208 x  64  1.595 BFLOPs
    4 res    1                 208 x 208 x  64   ->   208 x 208 x  64
CUDA Error: out of memory
darknet: ./src/cuda.c:36: check_error: Assertion `0' failed.
Aborted (core dumped)

CUDA Error: out of memory
darknet: ./src/cuda.c:36: check_error: Assertion `0' failed.
Aborted (core dumped)

原因1：你的GPU被占用了，电脑在跑其他的程序

解决方法：等现在的程序跑完再开始训练

原因2：需要修改所使用的模型cfg文件中的subdivision的参数。

解决方法：由subdivisions=8改成subdivisions=16，64等。

cfg 文件夹下的 yolov3-voc.cfg文件部分内容，把subdivisions=8改成subdivisions==64，程序即可正常：

[net]
# Testing
# batch=1
# subdivisions=1
# Training
batch=64
subdivisions=8
width=416
height=416
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1

learning_rate=0.001
burn_in=1000
max_batches = 50200
policy=steps
steps=40000,45000
scales=.1,.1

xiugaihou

wu@wu-X555LF:~/darknet$ ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74
yolov3-voc
layer     filters    size              input                output
    0 conv     32  3 x 3 / 1   416 x 416 x   3   ->   416 x 416 x  32  0.299 BFLOPs
    1 conv     64  3 x 3 / 2   416 x 416 x  32   ->   208 x 208 x  64  1.595 BFLOPs
    2 conv     32  1 x 1 / 1   208 x 208 x  64   ->   208 x 208 x  32  0.177 BFLOPs
    3 conv     64  3 x 3 / 1   208 x 208 x  32   ->   208 x 208 x  64  1.595 BFLOPs
    4 res    1                 208 x 208 x  64   ->   208 x 208 x  64
    5 conv    128  3 x 3 / 2   208 x 208 x  64