- 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
- 🍖 原作者:K同学啊
我的环境
语言环境:python 3.7.12
编译器:VS code
深度学习环境:tensorflow 2.7.0
数据:本地数据集46-data
一、任务描述
这期的任务是对运动鞋品牌进行二分类。
隐藏任务:初步学习调参。即本期代码内存在一个参数的修改,如果直接使用代码acc不高,请找出并修改其到最佳。答案揭晓在最后。
二、实现过程
1.数据导入与查看
data_dir = "./46-data/"
data_dir = pathlib.Path(data_dir)
# 查看
image_count = len(list(data_dir.glob('*/*/*.jpg')))
print("图片总数为:",image_count)
roses = list(data_dir.glob('train/nike/*.jpg'))
PIL.Image.open(str(roses[0]))
2.数据预处理
2.1加载数据
使用image_dataset_from_directory方法将磁盘中的数据加载到tf.data.Dataset中
● tf.keras.preprocessing.image_dataset_from_directory():是 TensorFlow 的 Keras 模块中的一个函数,用于从目录中创建一个图像数据集(dataset)。这个函数可以以更方便的方式加载图像数据,用于训练和评估神经网络模型。
测试集与验证集的关系:
- 验证集并没有参与训练过程梯度下降过程的,狭义上来讲是没有参与模型的参数训练更新的。
- 但是广义上来讲,验证集存在的意义确实参与了一个“人工调参”的过程,我们根据每一个epoch训练之后模型在valid data上的表现来决定是否需要训练进行early stop,或者根据这个过程模型的性能变化来调整模型的超参数,如学习率,batch_size等等。
- 因此,我们也可以认为,验证集也参与了训练,但是并没有使得模型去overfit验证集
batch_size = 32
img_height = 224
img_width = 224
如果准备尝试 categorical_crossentropy损失函数,下面的代码遇到变动哈,变动细节将在下一周博客内公布。
"""
关于image_dataset_from_directory()的详细介绍可以参考文章:https://mtyjkh.blog.youkuaiyun.com/article/details/117018789
"""
train_ds = tf.keras.preprocessing.image_dataset_from_directory(
"./46-data/train/",
seed=123,
image_size=(img_height, img_width),
batch_size=batch_size)
"""
关于image_dataset_from_directory()的详细介绍可以参考文章:https://mtyjkh.blog.youkuaiyun.com/article/details/117018789
"""
val_ds = tf.keras.preproce