【无标题】

早停策略和模型权重的保存

知识点回顾:

  1. 过拟合的判断:测试集和训练集同步打印指标
  2. 模型的保存和加载
    1. 仅保存权重
    2. 保存权重和模型
    3. 保存全部信息checkpoint,还包含训练状态
  3. 早停策略
过拟合的判断:测试集和训练集同步打印指标

过拟合就像是餐厅的厨师过于迎合某一群顾客的口味(训练集),导致其他顾客(测试集)对菜品不太满意。判断过拟合就像是同时收集两群顾客的反馈:

  • 训练集指标:厨师根据常客(训练集)的反馈不断调整菜品,所以常客满意度(训练集指标)逐渐提高。

  • 测试集指标:但新顾客(测试集)可能对这些过于迎合常客口味的菜品不太满意,所以新顾客满意度(测试集指标)没有同步提高甚至下降。

如果发现训练集指标持续变好,但测试集指标变差或停滞,很可能就是过拟合了。

模型的保存和加载
  1. 仅保存权重

    • 就像保存了厨师的烹饪手法和调料配方,但没有记录菜品的详细制作步骤。

    • 如果要恢复模型,需要按照之前的步骤重新搭建模型框架,然后加载保存的烹饪手法和调料配方。

  2. 保存权重和模型

    • 就像不仅保存了厨师的烹饪手法和调料配方,还记录了菜品的详细制作步骤和菜谱。

    • 这样别人即使不知道原来的制作方法,也可以根据记录的菜谱和保存的烹饪手法快速还原菜品。

  3. 保存全部信息checkpoint,还包含训练状态

    • 就像是保存了整个餐厅在某一时刻的完整状态,包括厨师的烹饪手法、菜谱、当前订单处理进度、库存食材数量等。

    • 这样即使餐厅突然停电,恢复供电后也能从上次的状态继续运营,而不会影响后续的服务。

早停策略

早停策略就像是在餐厅推出一道新菜品时设置一个尝试点:

  • 如果连续几次顾客对菜品的满意度没有提升,甚至有所下降,厨师就会停止进一步调整这道菜品,转而尝试其他改进方法。

  • 在训练模型时,如果验证集的性能在若干个训练周期内没有提升,就提前停止训练,避免模型在训练集上过拟合,同时节省训练资源

作业:对信贷数据集训练后保存权重,加载权重后继续训练50轮,并采取早停策略 

import torch
import torch.nn as nn
import torch.optim as optim
from sklearn.model_selection import train_test_split
import pandas as pd    #用于数据处理和分析,可处理表格数据。
import numpy as np     #用于数值计算,提供了高效的数组操作。
import matplotlib.pyplot as plt    #用于绘制各种类型的图表
from tqdm import tqdm  # 导入tqdm库用于进度条显示
import warnings
import time
warnings.filterwarnings("ignore") # 忽略所有警告信息
# 设置中文字体(解决中文显示问题)
plt.rcParams['font.sans-serif'] = ['SimHei']  # Windows系统常用黑体字体
plt.rcParams['axes.unicode_minus'] = False    # 正常显示负号
# 设置GPU设备
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
print(f"使用设备: {device}")
 
data = pd.read_csv('data.csv')    #读取数据
 
discrete_features = data.select_dtypes(include=['object']).columns.tolist()
# Home Ownership 标签编码
home_ownership_mapping = {
    'Own Home': 1,
    'Rent': 2,
    'Have Mortgage': 3,
    'Home Mortgage': 4
}
data['Home Ownership'] = data['Home Ownership'].map(home_ownership_mapping)
 
# Years in current job 标签编码
years_in_job_mapping = {
    '< 1 year': 1,
    '1 year': 2,
    '2 years': 3,
    '3 years': 4,
    '4 years': 5,
    '5 years': 6,
    '6 years': 7,
    '7 years': 8,
    '8 years': 9,
    '9 years': 10,
    '10+ years': 11
}
data['Years in current job'] = data['Years in current job'].map(years_in_job_mapping)
 
# Purpose 独热编码,记得需要将bool类型转换为数值
data = pd.get_dummies(data, columns=['Purpose'])
data2 = pd.read_csv("data.csv") # 重新读取数据,用来做列名对比
list_final = [] # 新建一个空列表,用于存放独热编码后新增的特征名
for i in data.columns:
    if i not in data2.columns:
       list_final.append(i) # 这里打印出来的就是独热编码后的特征名
for i in list_final:
    data[i] = data[i].astype(int) # 这里的i就是独热编码后的特征名
 
 
 
# Term 0 - 1 映射
term_mapping = {
    'Short Term': 0,
    'Long Term': 1
}
data['Term'] = data['Term'].map(term_mapping)
data.rename(columns={'Term': 'Long Term'}, inplace=True) # 重命名列
continuous_features = data.select_dtypes(include=['int64', 'float64']).columns.tolist()  #把筛选出来的列名转换成列表
 
 # 连续特征用中位数补全
for feature in continuous_features:     
    mode_value = data[feature].mode()[0]            #获取该列的众数。
    data[feature].fillna(mode_value, inplace=True)          #用众数填充该列的缺失值,inplace=True表示直接在原数据上修改。
 
# 最开始也说了 很多调参函数自带交叉验证,甚至是必选的参数,你如果想要不交叉反而实现起来会麻烦很多
# 所以这里我们还是只划分一次数据集
X = data.drop(['Credit Default'], axis=1)  # 特征,axis=1表示按列删除
y = data['Credit Default'] # 标签
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
# 打印下尺寸
print(X_train.shape)
print(y_train.shape)
print(X_test.shape)
print(y_test.shape)
 
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test) #确保训练集和测试集是相同的缩放
# 将数据转换为 PyTorch 张量,因为 PyTorch 使用张量进行训练
X_train = torch.FloatTensor(X_train).to(device)
y_train = torch.LongTensor(y_train.values).to(device)
X_test = torch.FloatTensor(X_test).to(device)
y_test = torch.LongTensor(y_test.values).to(device)
 
class MLP(nn.Module): # 定义一个多层感知机(MLP)模型,继承父类nn.Module
    def __init__(self): # 初始化函数
        super(MLP, self).__init__() # 调用父类的初始化函数
 # 前三行是八股文,后面的是自定义的
 
        self.fc1 = nn.Linear(31, 50)  # 输入层到隐藏层
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(50, 30)  # 隐藏层到输出层
        self.relu = nn.ReLU()
        self.fc3 = nn.Linear(30, 15)  # 输出层
        self.relu = nn.ReLU()
        self.fc4 = nn.Linear(15, 2)  # 输出层
# 输出层不需要激活函数,因为后面会用到交叉熵函数cross_entropy,交叉熵函数内部有softmax函数,会把输出转化为概率
 
    def forward(self, x):
        out = self.fc1(x)
        out = self.relu(out)
        out = self.fc2(out)
        out = self.relu(out)
        out = self.fc3(out)
        out = self.relu(out)
        out = self.fc4(out)
        return out
 
# 实例化模型并移至GPU
model = MLP().to(device)
 
# 分类问题使用交叉熵损失函数
criterion = nn.CrossEntropyLoss()
 
# 使用随机梯度下降优化器
# optimizer = optim.SGD(model.parameters(), lr=0.01)
 
# 使用自适应学习率的化器
optimizer = optim.Adam(model.parameters(), lr=0.001)
 
# 训练模型
num_epochs = 20000  # 训练的轮数
 
# 用于存储每200个epoch的损失值和对应的epoch数
train_losses = [] # 存储训练集损失
test_losses = [] # 新增:存储测试集损失
epochs = []
 
start_time = time.time()  # 记录开始时间
 
# 创建tqdm进度条
with tqdm(total=num_epochs, desc="训练进度", unit="epoch") as pbar:
    # 训练模型
    for epoch in range(num_epochs):
        # 前向传播
        outputs = model(X_train)  # 隐式调用forward函数
        train_loss = criterion(outputs, y_train)
 
        # 反向传播和优化
        optimizer.zero_grad()
        train_loss.backward()
        optimizer.step()
 
        # 记录损失值并更新进度条
        if (epoch + 1) % 200 == 0:
            # 计算测试集损失,新增代码
            model.eval()
            with torch.no_grad():
                test_outputs = model(X_test)
                test_loss = criterion(test_outputs, y_test)
            model.train()
            
            train_losses.append(train_loss.item())
            test_losses.append(test_loss.item())
            epochs.append(epoch + 1)
            
            # 更新进度条的描述信息
            pbar.set_postfix({'Train Loss': f'{train_loss.item():.4f}', 'Test Loss': f'{test_loss.item():.4f}'})
 
        # 每1000个epoch更新一次进度条
        if (epoch + 1) % 1000 == 0:
            pbar.update(1000)  # 更新进度条
 
    # 确保进度条达到100%
    if pbar.n < num_epochs:
        pbar.update(num_epochs - pbar.n)  # 计算剩余的进度并更新
 
time_all = time.time() - start_time  # 计算训练时间
print(f'Training time: {time_all:.2f} seconds')
 
# 可视化损失曲线
plt.figure(figsize=(10, 6))
plt.plot(epochs, train_losses, label='Train Loss') # 原始代码已有
plt.plot(epochs, test_losses, label='Test Loss')  # 新增:测试集损失曲线
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.title('Training and Test Loss over Epochs')
plt.legend() # 新增:显示图例
plt.grid(True)
plt.show()
 
# 在测试集上评估模型,此时model内部已经是训练好的参数了
# 评估模型
model.eval() # 设置模型为评估模式
with torch.no_grad(): # torch.no_grad()的作用是禁用梯度计算,可以提高模型推理速度
    outputs = model(X_test)  # 对测试数据进行前向传播,获得预测结果
    _, predicted = torch.max(outputs, 1) # torch.max(outputs, 1)返回每行的最大值和对应的索引
    correct = (predicted == y_test).sum().item() # 计算预测正确的样本数
    accuracy = correct / y_test.size(0)
    print(f'测试集准确率: {accuracy * 100:.2f}%')
 

训练进度: 100%|██████████| 5000/5000 [00:02<00:00, 2055.77epoch/s, Train Loss=0.3655, Test Loss=0.8031]
早停触发!在第2000轮,测试集损失已有5轮未改善。
最佳测试集损失出现在第1000轮,损失值为0.7726
Training time: 2.43 seconds
加载第1000轮的最佳模型进行最终评估...

@浙大疏锦行 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值