Loser

通过对InceptionV1和InceptionV3的对比可以发现，InceptionV1的模型结构十分简单，InceptionV3模型的结构就复杂了很多。然而InceptionV3的性能在InceptionV1的基础上略有提升，但不不是非常明显。是并行1xn和nx1的卷积来替换nxn卷积，在精度不变的情况下可以降低很多参数量和计算量。

通过50次迭代的结果发现，模型在测试集上的准确率已经可以达到90.4%。对比之前的ResNeXt有精度提升。另外，通过对Inception结构的学习，学到了一些模型优化的思路：1. 是并行，将过长的网络，通过一定的策略，修改成并行计算，可以减少网络层数2. 是将NxN的卷积变成1xN->Nx1来减少参数量3. 是在卷积操作前，通过1x1卷积降维。

J6周有一段代码如下。

从结果上来看，模型的过拟合问题严重，可以发现，参数量大的时候，训练集的正确率会达到很高的高度，但是可能只是因为数据集太小，模型记住了所有的训练集导致的，就像这个模型， 在测试集上的表现并不突出。

虽然大幅度的降低了模型的规模，实际的总参数还是数倍于DenseNet121。然而，模型似乎比DenseNet121的泛化性能好不少，训练和验证的Gap比DenseNet121小很多，甚至有的时候验证集上的表现比训练集还好。直接使用ResNet的ResidualBlock实现DenseNet会让参数量迅速的膨胀。接下来再改进，应该从如何压缩DenseNet的参数量的角度来考虑。

包引用全局设备对象数据准备从K同学提供的网盘中下载乳腺癌数据集，解压到data目录下，数据集的结构如下：其中1是乳腺癌，0不是乳腺癌，这个目录结构可以使用torchvision.datasets.ImageFolder直接加载随机打印5个图像的尺寸发现输入并不是224大小的三通道图像，所以我们可以在数据集处理时需要Resize这一步3. 随机打印20个图像然后通过加载文件夹从数据中提取图像不同的分类名称，并转换成文字划分训练集和验证集最后，将数据集划分批次模型构建首先编写De

可以发现逆置了BN和ReLU之后，模型的收敛速度更快，然后在测试集上的效果也更好。和作者的相比，我的效果提升给加明显。分析原因是作者的模型训练层数较深，提升的是模型的上限，而我的应该还没有收敛。由此可以得出结论逆置的BN和ReLU具有更强的特征提取能力，也有一定的表达能力的提升。

一开始使用了0.1这样的大学习率，训练完全无法进行。后来发现loss初始值就非常小，只有1.5左右，于是改用小学习率，模型才train起来。IdentityBlock和ConvBlock中都有1x1卷积压缩特征图后进行实际的特征提取/处理操作然后再通过1x1卷积恢复原体积的特征图，目前对这个缩小后再放大的操作非常迷茫，既然特征的计算已经在低维度进行过了，再基于此放大特征也不可能有新的特征出现，反而会多了很多噪声，是不是这个噪声是必须。