keras.utils.Sequence生成数据

最新推荐文章于 2025-05-26 11:12:58 发布

小白的深度学习之路

最新推荐文章于 2025-05-26 11:12:58 发布

阅读量6.6k

点赞数 5

CC 4.0 BY-SA版权

分类专栏： keras 文章标签： keras数据加载

本文链接：https://blog.youkuaiyun.com/weixin_43198141/article/details/89926262

本文介绍了如何利用keras.utils.Sequence基类构建数据生成器进行多进程数据加载，确保每个样本在每个时期只训练一次，适用于图像分类任务。相较于其他方法，Sequence能与model.fit_generator的use_multiprocessing=True, workers=Numprocess参数配合，提高数据处理效率。" 80158997,4919125,CentOS7离线安装Docker详细教程,"['Docker', 'CentOS7', '离线部署', 'Yum管理']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

keras.utils.Sequence

昨天写了用multiprocessing.Pool的多进程加载数据和yield生成数据送入model.fit_generator里面训练→multiprocessing.Pool。今天试着用keras.utils.Sequence基类构建一个数据生成器，其数据加载的速度和用multiprocessing.Pool差不多。
Sequence是进行多进程处理的更安全的方法。这种结构保证网络在每个时期每个样本只训练一次，这与生成器不同。每一个 Sequence 必须实现 getitem 和 len 方法。
如果你想在迭代之间修改你的数据集，你可以实现 on_epoch_end。
getitem 方法应该范围一个完整的批次。
使用keras.utils.Sequence处理数据可以调用model.fit_generator里面的use_multiprocessing=True, workers=Numprocess,而上一篇文章的数据加载方法不能调用。
下面基于图像分类任务用keras.utils.Sequence 加载数据feed到model.fit_generator中训练的代码，可以上一篇文章中给的代码，进行速度对比一下

import keras
import cv2
import numpy as np


class Dataloader(keras.utils.Sequence):
    def __init__(self, filepath, batchsize, img_shape=(224, 224)):
        self.lines = open(filepath).readlines()
        self.batchsize = batchsize
        self.img