weixin_64215932的博客

🧲 改进点：(a)original 表示原始的 ResNet 的残差结构，(b)proposed 表示新的 ResNet 的残差结构。从图中结果我们可以看出，(b)proposed 的测试集错误率明显更低一些，达到了 4.92%的错误率，(a)original 的测试集错误率是 7.61%。作者用不同 shortcut 结构的 ResNet-110 在 CIFAR-10 数据集上做测试，发现最原始的(a)original 结构是最好的，也就是 identity mapping 恒等映射是最好的。

图2左边的单元为 ResNet 两层的残差单元，两层的残差单元包含两个相同输出的通道数的 3x3 卷积，只是用于较浅的 ResNet 网络，对较深的网络主要使用三层的残差单元。证明过程也很简单：假设在一种网络Ａ的后面添加几层形成新的网络Ｂ，如果增加的层级只是对Ａ的输出做了个恒等映射（identity mapping），即Ａ的输出经过新增的层级变成Ｂ的输出后没有发生变化，这样网络Ａ和网络Ｂ的错误率就是相等的，也就证明了加深后的网络不会比加深前的网络效果差。这个卷积块可以用于深度残差网络的构建。

测试函数和训练函数大致相同，但是由于不进行梯度下降对网络权重进行更新，所以不需要传入优化器。📌如果将优化器换成 SGD 会发生什么呢？请自行探索接下来发生的诡异事件的原因。如果设备上支持GPU就使用GPU,否则使用CPU。训练营往期文章中有详细的介绍。

这个调度器的作用是根据指定的学习率变化规律，动态地调整优化器中的学习率。首先，定义了一个名为lambda1的匿名函数，其输入为epoch，表示当前训练的轮数（epoch），返回值为0.92的epoch//4次方。这个函数的作用是计算每一轮训练的学习率，采用指数衰减的方式，即每经过4个epoch，学习率就会降低为原来的0.92倍。在模型训练过程中，如果当前测试准确率（epoch_test_acc）比之前的最好准确率（best_acc）更高，就保存当前的模型（使用深拷贝方法），并更新最好准确率。

● milestones(list)：是一个关于epoch数值的list，表示在达到哪个epoch范围内开始变化，必须是升序排列。● step_size(int)：是学习率衰减的周期，每经过每个epoch，做一次学习率decay。● optimizer(Optimizer)：是之前定义好的需要优化的优化器的实例名。● optimizer(Optimizer)：是之前定义好的需要优化的优化器的实例名。● optimizer(Optimizer)：是之前定义好的需要优化的优化器的实例名。

使用更深的网络结构：可以尝试使用更深的网络结构，如ResNet、DenseNet等，这些网络结构能够更好地解决梯度消失问题，从而使得模型训练更加稳定。增加卷积层的数量和大小：增加卷积层的数量和大小可以提高网络的感受野，从而更好地捕捉图像的特征。使用预训练的模型进行微调：可以使用在大规模数据集上预训练的模型，在本任务上进行微调，能够更好地利用已有数据集的信息，提高模型的精度。增加数据集：可以尝试增加训练数据的数量，或者通过数据增强技术来生成更多的数据样本，以便网络可以更好地学习数据特征。

本次学习主要涉及了PyTorch中CNN网络的搭建、数据处理和模型预测。在准备阶段，通过导入数据、使用transforms.Compose进行数据增强、加载数据集以及划分数据集等操作为构建CNN网络做好准备。在构建CNN网络的过程中，介绍了torch.nn.Flatten()和x.view()两个函数，并讲解了它们之间的区别。最后，还学习了如何使用指定的图片进行预测，包括torch.squeeze()和torch.unsqueeze()的详解和某张图片的预测方法。

本文实战并没有使用深度学习训练营中的网络结构进行模型训练，而是自己设计了一个较为简单的、易于理解的网络结构，发现亲手设计从0到1的网络会遇到一些问题，比如每个层的参数该如何设置，卷积层、池化层如何计算，使用多少个卷积层、池化层、全连接层，尝试不用正规卷积而改用稀疏卷积如何去实现等等。本次实战运用自己设计的网络结构开始训练模型，最终结果证明效果一般般，毕竟这是第一次且刚入门的小案例，后续熟练了再试着去调参优化，将模型的精度提高至80，甚至90。

介绍如何构建一个简单的卷积神经网络（CNN），用于图像分类任务。具体来说，该网络由特征提取网络和分类网络两部分组成。特征提取网络主要包括卷积层、池化层和激活函数，用于提取图像的特征；而分类网络则包括一个或多个全连接层，用于根据提取到的特征对图像进行分类。nn.Conv2d表示卷积层，其输入参数包括输入通道数、输出通道数和池化核大小；nn.MaxPool2d表示池化层，用于下采样并提高抽象程度；nn.ReLU为激活函数，使得模型可以拟合非线性数据；