零基础入门CV之 模型训练与验证

1、验证集的构造
在数据挖掘竞赛中一般给出的数据有两种，一种是直接给出训练集、验证集和测试集，另一种是只给出训练集和测试机，就需要我们自己来划分验证机。
为什么要划分验证集呢？
因为在数据分析过程中，模型如果只利用训练集进行训练，就很有可能导致过拟合，也就是说模型对训练集的分布及细节学习的很到位，导致对于从没有见过的测试集就比较差，故模型的泛化能力就很差。为了解决该问题，需要构建一个与测试集具有大体相同分布和细节的数据集，降低模型过拟合，提高模型泛化能力，该数据集称为验证集。
常用验证集的构造方法

（1）留出法（Hold-Out）
直接将训练集划分为两部分，新的训练集和验证集，这种划分方式的优点是最为直接简单；缺点是只得到了一份验证集，有可能导致模型在验证集上过拟合。留出法应用场景是数据量比较大的情况。
（2）交叉验证法（Cross Validation，CV）
将训练集划分成K份，将其中的K-1份作为训练集，剩余的1份作为验证集，循环K训练。这种划分方式是所有的训练集都是验证集，最终模型验证精度是K份平均得到。这种方式的优点是验证集精度比较可靠，训练K次可以得到K个有多样性差异的模型；CV验证的缺点是需要训练K次，不适合数据量很大的情况。
（3）自助采样法（BootStrap）
通过有放回的采样方式得到新的训练集和验证集，每次的训练集和验证集都是有区别的。这种划分方式一般适用于数据量较小的情况

当然这些划分方法是从数据划分方式的角度来讲的，在现有的数据比赛中一般采用的划分方法是留出法和交叉验证法。如果数据量比较大，留出法还是比较合适的。当然任何的验证集的划分得到的验证集都是要保证训练集-验证集-测试集的分布是一致的，所以如果不管划分何种的划分方式都是需要注意的。
这里的分布一般指的是与标签相关的统计分布，比如在分类任务中“分布”指的是标签的类别分布，训练集-验证集-测试集的类别分布情况应该大体一致；如果标签是带有时序信息，则验证集和测试集的时间间隔应该保持一致。
2.模型训练与验证
逻辑结构如下：
构造训练集和验证集；
每轮进行训练和验证，并根据最优验证集精度保存模型。

import torch.nn as nn
from torch.utils.data.dataset import Dataset

# class SVHN_Model1(nn.Module):
#     def __init__(self):
#         super(SVHN_Model1, self).__init__()
                
#         model_conv = models.resnet18(pretrained=True)
#         model_conv.avgpool = nn.AdaptiveAvgPool2d(1)
#         model_conv = nn.Sequential(*list(model_conv.children())[:-1])
#         self.cnn = model_conv
        
#         self.fc1 = nn.Linear(512, 11)
#         self.fc2 = nn.Linear(512, 11)
#         self.fc3 = nn.Linear(512, 11)
#         self.fc4 = nn.Linear(512, 11)
#         self.fc5 = nn.Linear(512, 11)
    
#     def forward(self, img):        
#         feat = self.cnn(img)
#         # print(feat.shape)
#         feat = feat.view(feat.shape[0], -1)
#         c1 = self.fc1(feat)
#         c2 = self.fc2(feat)
#         c3 = self.fc3(feat)
#         c4 = self.fc4(feat)
#         c5 = self.fc5(feat)
#         return c1, c2, c3, c4, c5

train_loader = torch.utils.data.DataLoader(
#     train_dataset,
    batch_size=10, 
    shuffle=True, 
    num_workers=