K折交叉验证代码实现

最新推荐文章于 2024-04-21 18:42:26 发布

原创

最新推荐文章于 2024-04-21 18:42:26 发布 · 345 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#storm

这段代码展示了如何使用PyTorch进行Kaggle房价预测数据的预处理，包括数据下载、合并、标准化以及处理缺失值。然后定义了一个线性模型，使用MSELoss作为损失函数，Adam优化器进行训练。重点在于实现了K折交叉验证，通过分割数据集进行训练和验证，计算平均训练误差和验证误差，以评估模型性能。

代码如下, 交叉验证函数在其中实现

import numpy as np
import pandas as pd
import torch
from torch import nn
from d2l import torch as d2l
import hashlib
import os
import tarfile
import zipfile
import requests

#@save
DATA_HUB = dict()
DATA_URL = 'http://d2l-data.s3-accelerate.amazonaws.com/'
DATA_HUB['kaggle_house_train'] = (  #@save
    DATA_URL + 'kaggle_house_pred_train.csv',
    '585e9cc93e70b39160e7921475f9bcd7d31219ce')

DATA_HUB['kaggle_house_test'] = (  #@save
    DATA_URL + 'kaggle_house_pred_test.csv',
    'fa19780a7b011d9b009e8bff8e99922a8ee2eb90')
def download(name, cache_dir=os.path.join('..', 'data')):  #@save
    """下载一个DATA_HUB中的文件，返回本地文件名"""
    assert name in DATA_HUB, f"{name} 不存在于 {DATA_HUB}"#检查在DATA_HUB中是否存在name, 如果不存在打印错误
    url, sha1_hash = DATA_HUB[name]
    os.makedirs(cache_dir, exist_ok=True)
    fname = os.path.join(cache_dir, url.split('/')[-1])
    if os.path.exists(fname):
        sha1 = hashlib.sha1()
        wi