fit_generator()

最新推荐文章于 2021-04-01 15:17:46 发布

原创

最新推荐文章于 2021-04-01 15:17:46 发布 · 642 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何使用fit_generator()函数解决在训练模型时因数据过大导致的内存耗尽问题。通过Python生成器并行生成数据批次，可以在CPU上生成数据的同时在GPU上进行模型训练，从而降低内存开销。fit_generator()参数包括generator、steps_per_epoch、epochs和workers等，通过调整这些参数实现更高效的训练流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在数据处理和网络定义完成后，跑模型时突然出现了错误：

OOM

刚开始也不知道哪里的问题，发现有可能是内存耗尽了，然后就放进去500张图片进行fit，然后问题就消失了，猜想应该是数据太大，内存开销不够。
发现官方文档中说可以使用fit_generator()分批训练。

官方文档如下：

fit_generator(self, generator, 
                    steps_per_epoch=None, 
                    epochs=1, 
                    verbose=1, 
                    callbacks=None, 
                    validation_data=None, 
                    validation_steps=None,  
                    class_weight=None,
                    max_queue_size=10,   
                    worker