实现批量数据增强 | keras ImageDataGenerator使用

最新推荐文章于 2024-02-03 23:14:23 发布

转载最新推荐文章于 2024-02-03 23:14:23 发布 · 631 阅读

4 ·

CC 4.0 BY-SA版权

原文链接：https://juejin.im/post/5c486bc4f265da611c274ab4

文章标签：

#人工智能

本文探讨了数据不均衡问题及其对机器学习模型的影响，介绍了常见解决方案，并详细讲解了使用Keras的ImageDataGenerator进行图像数据增强的具体方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

微信公众号：AI算法与图像处理
关注和置顶公众号可第一时间了解公众号最新咨询
如果你觉得推文对你有帮助，欢迎分享和转载，转载请注明出处和公众号二维码

内容目录（由[TOC]自动生成）

什么是数据不均衡问题这里简单说明一下，重点是操作和应用：1、数据不均衡问题2、常见的解决方法函数说明准备工作功能说明参数说明参数完整代码效果展示总结

什么是数据不均衡问题

详细说明,请参考：https://blog.youkuaiyun.com/Yaphat/article/details/60348946

这里简单说明一下，重点是操作和应用：

1、数据不均衡问题

在大部分情况下，我们认为不同类别的数据是均匀分布的，很多算法也是基于这个假设，但是在真实的情况下，往往都不是如此的。例如，机器发送故障的情况是我们想要预测的，但实际上故障的概率是很低的，所以导致故障的样本量很少，即使你将所有的预测结果都设置为正常，准确率依然很高，但这个模型是一个没有用的模型，这种类似的例子是非常常见的。

2、常见的解决方法

解决的方案很多，主要从两个方面考虑（面试的时候可能会问）
1）数据层面
2）算法层面

在项目中，我们可能没那么多时间去思考从算法方面去解决，更多的时候想的是能用就行，但是网上很多的例子很多是基于内置的数据，这是非常让人难受的，或者是基于一张图片进行数据增强，很痛苦。更一般的情况是，对训练集下的某一个文件夹的所有图片进行数据增强，这就是我写这个的理由。
这部分的理论,可以参考：https://blog.youkuaiyun.com/mieleizhi0522/article/details/82191331

函数说明

准备工作

所使用的环境
Python3.6、tensorflow-gpu 1.5.0、keras2.2.4

功能说明

1）ImageDataGenerator 图片生成器
2）flow_from_directory 以文件夹路径为参数,生成经过数据提升/归一化后的数据,在一个无限循环中无限产生batch数据

参数说明

备注：对于单张图片的数据增强，可以参看ImageDataGenerator和flow的使用说明：https://blog.youkuaiyun.com/hnu2012/article/details/54017564
1）ImageDataGenerator 图片生成器

from keras.preprocessing.image import ImageDataGenerator

datagen = ImageDataGenerator(
        rotation_range=40,
        width_shift_range=0.2,
        height_shift_range=0.2,
        rescale=1./255,
        shear_range=0.2,
        zoom_range=0.2,
        horizontal_flip=True,
        fill_mode='nearest'，
        cval=0,
        channel_shift_range=0,
        horizontal_flip=False,
        vertical_flip=False,
        rescale=None)
复制代码

参数

rotation_range：整数，数据提升时图片随机转动的角度
width_shift_range：浮点数，图片宽度的某个比例，数据提升时图片水平偏移的幅度
height_shift_range：浮点数，图片高度的某个比例，数据提升时图片竖直偏移的幅度
rescale: 重放缩因子,默认为None. 如果为None或0则不进行放缩,否则会将该数值乘到数据上(在应用其他变换之前)
shear_range：浮点数，剪切强度（逆时针方向的剪切变换角度）
zoom_range：浮点数或形如[lower,upper]的列表，随机缩放的幅度，若为浮点数，则相当于[lower,upper] = [1 - zoom_range, 1+zoom_range]
fill_mode：‘constant’‘nearest’，‘reflect’或‘wrap’之一，当进行变换时超出边界的点将根据本参数给定的方法进行处理
cval：浮点数或整数，当fill_mode=constant时，指定要向超出边界的点填充的值
channel_shift_range: Float. Range for random channel shifts.
horizontal_flip：布尔值，进行随机水平翻转
vertical_flip：布尔值，进行随机竖直翻转
rescale: 重放缩因子,默认为None. 如果为None或0则不进行放缩,否则会将该数值乘到数据上(在应用其他变换之前

2）flow_from_directory

gen = datagen.flow_from_directory(
                           path,
                           target_size=(224, 224),
                           batch_size=15,
                           save_to_dir=dst_path,#生成后的图像保存路径
                           save_prefix='xx',
                           save_format='jpg')

for i in range(6):
    gen.next()
"""
path:文件读入的路径，必须是子文件夹的上一级（这里是个坑，不过试一哈就懂了）
target_size:图片resize成的尺寸，不设置会默认设置为（256.256）
batch_size:每次输入的图片的数量，例如batch_size=32，一次进行增强的数量为32，
个人经验：batch_size的大小最好是应该和文件的数量是可以整除的关系
save_to_dir:增强后图片的保存位置
save_prefix:文件名加前缀，方便查看
save_format:保存图片的数据格式
产生的图片总数：batch_size*6（即range中的数字）
"""
复制代码

完整代码

from keras.preprocessing.image import ImageDataGenerator

path = 'E:/C3D_Data/train' # 类别子文件夹的上一级
dst_path = 'E:/C3D_Data/train_result'
#  图片生成器
datagen = ImageDataGenerator(

    rotation_range=5,
    width_shift_range=0.02,
    height_shift_range=0.02,
    shear_range=0.02,
    horizontal_flip=True,
    vertical_flip=True
)

gen = datagen.flow_from_directory(
                           path,
                           target_size=(224, 224),
                           batch_size=15,
                           save_to_dir=dst_path,#生成后的图像保存路径
                           save_prefix='xx',
                           save_format='jpg')

for i in range(6):
    gen.next()
复制代码