机器学习(6)——模型选择、参数选择

本文介绍了在机器学习中如何进行模型选择,通过引入交叉验证数据集进行训练集、交叉验证集和测试集的划分,选择使交叉验证误差最小的模型。同时,讨论了bias和variance的概念,以及如何通过调整正则化参数λ来平衡二者。最后,提出了增加训练数据对解决过拟合问题的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

当我们使用正则化的线性回归方法预测房价时,发现得到的模型应用于新的数据上时有很大误差,这时,我们可以选择一些解决方案,例如:
这里写图片描述
上图中的这六种解决方案都有相应的条件,如图中蓝色字体所示。

【一、回归模型选择】

我们引入一类数据集,叫做cross validation set,即交叉验证数据集。将所有数据按6:2:2
分为training set , cross validation set , testing set三类,如下图所示:
这里写图片描述

这里写图片描述

【模型选择的步骤】

  1. 建立d个假设模型,如下图所示(d=10),分别在training set 上求使其training error最小的θ向量,那么得到d个θ。
  2. 对这d个假设模型,在cross validation set上计算J(cv),选择cv set error最小的一个模型 ,例如:如果J(cv)在第2组中最小,则取d=2的假设。
    这里写图片描述

【二、bias and variance的定义】

对于不同的模型,有不同的拟合情况,如下图所示:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值