m0_51547083的博客

对于CIFAR-10数据集而言，图片的大小为（3，32，32），若是采用ResNet的话也不必要重新插值生成（224，224）尺寸的图像， 目前觉得好像（32，32）会更好点，而且模型体量更小点。训练轮数只有5-10轮，提交上去后有百分之73的准确率，对于一个较为少层的神经网络来说效果还是不错的，轻量级，同时如果训练轮数在多点应该也可以到达较高的准确率。可能是设置的参数与第一次设置的不同，从20-50轮次的训练中，CNN的效果也并没有什么起色，应该是已经达到了该网络的上限。对于该模型而言，训练其50轮。

多层Bottleneck的第一层的in_channel为上一个模块的out_channel，中间的in_channel则为多层Bottleneck的上一层out_channel，每个Bottleneck的plane为其in_channel的1/2。这里有一个涉及到梯度是否能计算的问题，如果在bn3之后又进行了一次relu操作，然后再自加等，由于relu操作是限定为原地进行的，这就会导致在反向推导时无法计算出梯度，Resnet网络是为了解决深度网络中的退化问题，即网络层数越深时，在数据集上表现的性能却越差。

在模型定义之前，我们需要先提前导入合适的库，同时设置随机数种子（设置42比较具有深刻的含义，但我偏向一个大质数998244353）这里设置一个超参数类来保存所需要的参数，其中包含这次训练用的超小型数据集和测试集。

上文介绍的几种损失函数都是适用于回归问题损失函数，对于分类问题，最常用的损失函数是交叉熵损失函数 Cross Entropy Loss。损失实际上是分位数损失的一个特例 — 中位数回归（这也可以解释为什么。模型假设服从高斯分布，与极大似然估计本质一致，梯度下降较。（低估） 两种情况分开来，并分别给予不同的系数。时，高估的损失比低估的损失大；时，低估的损失要比高估的损失更大，反过来当。对中位数的影响比对期望值的影响小）。这个损失函数是一个分段的函数 ，将。时，分位数损失退化为。损失，从这里可以看出。