努力学习的大小宝

本次主要是探究不同优化器、以及不同参数配置对模型的影响，在论文当中我们也可以进行优化器的比对，以增加论文工作量

这是大家可以自由发挥的一个地方# 随机改变图像对比度那么如何将自定义增强函数应用到我们数据上呢？请参考上文的函数，将aug_img函数嵌入到函数中，在数据预处理时完成数据增强就OK啦。

📌第9周：猫狗识别-2📌。🔎 探索（难度有点大）

这篇文章中放弃了以往的model.fit()训练方法，改用model.train_on_batch方法。使用image_dataset_from_directory方法将磁盘中的数据加载到tf.data.Dataset中。此外也引入了进度条的显示方式，更加方便我们及时查看模型训练过程中的情况，可以及时打印各项指标。VGG的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）。我们可以通过class_names输出数据集的标签。，这个错误是由于版本问题引起的。

关于卷积的相关知识可以参考文章：https://mtyjkh.blog.youkuaiyun.com/article/details/114278995。使用image_dataset_from_directory方法将磁盘中的数据加载到tf.data.Dataset中。VGG的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3）和最大池化尺寸（2x2）。在官方模型与自建模型之间进行二选一就可以了，选着一个注释掉另外一个。官网模型调用这块我放到后面几篇文章中，下面主要讲一下VGG-16。🔎 探索（难度有点大）

1.直接调用VGG16添加BN层：有效Drop层：卷积层无效，甚至有反效果，全连接层有效L2正则化：有效，但参数不能设置很高减少全连接层神经元数量调整图片尺寸，224x224------256x256上述操作结束，已经可以达到0.5左右，最高大概0.562. 加载预训练参数自己搭建的VGG16有BN层，无法直接加载参数，只能含泪注释掉。

学习率衰减是一种常用的技巧，可以帮助优化算法更有效地收敛到全局最小值，从而提高模型的性能。在每一个epoch开始前，学习率（learning_rate）都将会重置为初始学习率（initial_learning_rate），然后再重新开始衰减。这样做不仅可以最大限度地缩短训练的单步用时（而不是总用时），而且可以缩短提取和转换数据所需的时间。在此示例中，我们的 CNN 输入，fashion_mnist 数据集中的图片，形状是。因此，训练所用的时间是 CPU 预处理时间和加速器训练时间的总和。

将训练步骤的预处理和模型执行过程重叠到一起。当加速器正在执行第 N 个训练步时，CPU 正在准备第 N+1 步的数据。这样做不仅可以最大限度地缩短训练的单步用时（而不是总用时），而且可以缩短提取和转换数据所需的时间。在此示例中，我们的 CNN 输入，fashion_mnist 数据集中的图片，形状是。相反，当加速器正在训练模型时，CPU 处于空闲状态。因此，训练所用的时间是 CPU 预处理时间和加速器训练时间的总和。此外，还可以使用学习率衰减策略，如指数衰减、阶梯衰减或余弦退火等，来帮助模型更好地收敛。

当加速器正在执行第 N 个训练步时，CPU 正在准备第 N+1 步的数据。这样做不仅可以最大限度地缩短训练的单步用时（而不是总用时），而且可以缩短提取和转换数据所需的时间。在此示例中，我们的 CNN 输入，fashion_mnist 数据集中的图片，形状是。因此，训练所用的时间是 CPU 预处理时间和加速器训练时间的总和。较上篇文章，本文为了增加模型的泛化能力，新增了Dropout层并且将最大池化层调整成了平均池化层。此外，还可以使用学习率衰减策略，如指数衰减、阶梯衰减或余弦退火等，来帮助模型更好地收敛。

池化层对提取到的特征信息进行降维，一方面使特征图变小，简化网络计算复杂度；另一方面进行特征压缩，提取主要特征，增加平移不变性，减少过拟合风险。但其实池化更多程度上是一种计算性能的一个妥协，强硬地压缩特征的同时也损失了一部分信息，所以现在的网络比较少用池化层或者使用优化后的如SoftPool。池化层包括最大池化层（MaxPooling）和平均池化层（AveragePooling），均值池化对背景保留更好，最大池化对纹理提取更好）。● 使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确。

MNIST手写数字数据集来源于是美国国家标准与技术研究所，是著名的公开数据集之一。数据集中的数字图片是由250个不同职业的人纯手写绘制，数据集获取的网址为：http://yann.lecun.com/exdb/mnist/（下载后需解压）。我们一般会采用(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()这行代码直接调用，这样就比较简单.