第T10周：数据增强

于 2023-10-20 10:50:28 发布
阅读量65 收藏
点赞数
文章标签： python 人工智能 深度学习 神经网络 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ck1487921366/article/details/133941582
版权

目录

代码及运行结果

一、前期准备工作

二、数据增强

三、增强方式

四、训练模型

五、自定义增强函数

个人总结：

一、

二、

三、 

总结：

代码及运行结果

一、前期准备工作

import matplotlib.pyplot as plt
import numpy as np
#隐藏警告
import warnings
warnings.filterwarnings('ignore')

from tensorflow.keras import layers
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")

if gpus:
    tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpus[0]],"GPU")

# 打印显卡信息，确认GPU可用
print(gpus)

data_dir   = "./365-8-data/"
img_height = 224
img_width  = 224
batch_size = 32

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    data_dir,
    validation_split=0.3,
    subset="training",
    seed=12,
    image_size=(img_height, img_width),
    batch_size=batch_size)

val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)

print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))

class_names = train_ds.class_names
print(class_names)

AUTOTUNE = tf.data.AUTOTUNE

def preprocess_image(image,label):
    return (image/255.0,label)

# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)

train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

plt.figure(figsize=(15, 10))  # 图形的宽为15高为10

for images, labels in train_ds.take(1):
    for i in range(8):
        
        ax = plt.subplot(5, 8, i + 1) 
        plt.imshow(images[i])
        plt.title(class_names[labels[i]])
        
        plt.axis("off")
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
Found 3400 files belonging to 2 classes.
Using 2380 files for training.
Found 3400 files belonging to 2 classes.
Using 2380 files for training.
Number of validation batches: 60
Number of test batches: 15
['cat', 'dog']

二、数据增强

data_augmentation = tf.keras.Sequential([
  tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),
  tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
])

# Add the image to a batch.
image = tf.expand_dims(images[i], 0)

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = data_augmentation(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0])
    plt.axis("off")

三、增强方式

model = tf.keras.Sequential([
  data_augmentation,
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
])

四、训练模型

model = tf.keras.Sequential([
  data_augmentation,
  layers.Conv2D(16, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(32, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(64, 3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),
  layers.Dense(128, activation='relu'),
  layers.Dense(len(class_names))
])

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

epochs=20
history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs
)

loss, acc = model.evaluate(test_ds)
print("Accuracy", acc)
Epoch 1/20
75/75 [==============================] - 8s 29ms/step - loss: 0.7362 - accuracy: 0.5248 - val_loss: 0.6591 - val_accuracy: 0.6184
Epoch 2/20
75/75 [==============================] - 1s 19ms/step - loss: 0.4881 - accuracy: 0.7689 - val_loss: 0.3726 - val_accuracy: 0.8237
Epoch 3/20
75/75 [==============================] - 1s 19ms/step - loss: 0.3624 - accuracy: 0.8420 - val_loss: 0.2915 - val_accuracy: 0.8784
Epoch 4/20
75/75 [==============================] - 1s 20ms/step - loss: 0.2830 - accuracy: 0.8782 - val_loss: 0.2414 - val_accuracy: 0.9011
...................
Epoch 19/20
75/75 [==============================] - 2s 24ms/step - loss: 0.1003 - accuracy: 0.9664 - val_loss: 0.1372 - val_accuracy: 0.9537
Epoch 20/20
75/75 [==============================] - 2s 20ms/step - loss: 0.0951 - accuracy: 0.9630 - val_loss: 0.1114 - val_accuracy: 0.9632
15/15 [==============================] - 0s 11ms/step - loss: 0.1033 - accuracy: 0.9667
Accuracy 0.9666666388511658

五、自定义增强函数

import random
def aug_img(image):
    seed = (random.randint(0,9), 0)
    # 随机改变图像对比度
    stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
    return stateless_random_brightness

image = tf.expand_dims(images[3]*255, 0)
print("Min and max pixel values:", image.numpy().min(), image.numpy().max())

plt.figure(figsize=(8, 8))
for i in range(9):
    augmented_image = aug_img(image)
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(augmented_image[0].numpy().astype("uint8"))

    plt.axis("off")
Min and max pixel values: 2.4591687 241.47968

个人总结：

一、

val_batches = tf.data.experimental.cardinality(val_ds)
test_ds     = val_ds.take(val_batches // 5)
val_ds      = val_ds.skip(val_batches // 5)

TensorFlow 的数据集 API 中的 cardinality 函数来计算变量 val_ds 中数据集的大小（即样本数或批次数）。val_ds 应该是一个 TensorFlow 数据集对象。

take 函数用于从 val_ds 中获取前 val_batches // 5 个批次，然后将它们存储在 test_ds 中。用于创建测试集。

使用 skip 函数从 val_ds 中跳过前 val_batches // 5 个批次，从而创建一个新的验证数据集 val_ds，该数据集应包含剩余的批次。

二、

def preprocess_image(image,label):
    return (image/255.0,label)

# 归一化处理
train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
  • map 函数是 TensorFlow 数据集（tf.data.Dataset）中的一个非常有用的函数，它用于对数据集中的每个元素应用一个指定的函数。通常，map 函数用于对数据集中的样本进行预处理、转换或增强操作。
    • 在使用 TensorFlow 数据集对象时，每个元素通常是一个包含图像数据和标签的元组。这个元组可以包括一个三维张量（对于彩色图像）和一个用于标识图像的标签。例如，假设你有一个数据集对象，其中每个元素都是一个形如 (image, label) 的元组，其中 image 是一个包含图像数据的三维张量，而 label 是一个标签（通常是整数或独热编码）。
  • preprocess_image 函数接受两个参数，分别是图像数据和标签。
  • num_parallel_calls 参数用于指定并行处理的数量，它可以加速数据预处理过程。
  • AUTOTUNE 是一个常见的设置，它会自动选择最佳的并行处理数量，以根据你的硬件资源充分利用多核 CPU。

三、 

# Add the image to a batch.
image = tf.expand_dims(images[i], 0)
  • images[i] 中的 i 使用了循环中的 i 的值，因此它是相同的。这行代码的作用是将 images[i] 转换为一个包含批次维度的张量，以便将其传递给深度学习模型。
  • 这是因为深度学习模型通常需要一批数据进行训练或推断，而不仅仅是单个图像。
  • 通常，深度学习模型期望输入数据的形状包括批次维度，即使你只处理一个图像，也需要将其包装在批次中。

总结：

数据增强可以有效地提高模型的识别精度和泛化能力。在训练过程中对输入数据进行随机变换，可以使得模型更加鲁棒，避免过度拟合。对输入图像进行随机翻转和旋转，可以增加训练数据的多样性，从而提高模型对不同角度和方向的图像进行分类的能力。

轻风不语
关注
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值