读书笔记-《机器学习》第二章:模型评估与选择

本文探讨了如何通过评估方法如留出法、交叉验证法及自助法来选择泛化能力强的学习模型,并介绍了性能度量标准,如错误率、查准率、查全率、ROC与AUC等。此外还分析了泛化误差的组成——偏差、方差和噪声。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第二章 模型评估与选择

  • 我们希望得到泛化误差小的学习器,然而,我们事前并不知道新样本是什么样,实际能做的是努力使经验误差最小化
  • 评估方法
    • 留出法
    • 交叉验证法
    • 自助法
  • 我们用测试集上的判别效果来估计模型在实际使用时的泛化能力,而把训练数据另外划分为训练集验证集,基于验证集上的性能来进行模型选择和调参
  • 在模型选择完成后,学习算法和参数配置已选定,此时应该用数据集D重新训练模型。这个模型在训练过程中使用了所有m个样本,这才是我们最终提交给用户的模型
  • 性能度量
    • 错误率与精度
    • 查准率、查全率与F1
    • ROC与AUC
    • 代价敏感错误率与代价曲线:不同类型错误所造成的后果不同
  • 泛化误差可以分解为偏差、方差和噪声之和
  • 偏差:度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力
  • 方差:度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响
  • 噪声:表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界,即刻画了学习问题本身的难度
  • 给定学习任务,假定我们能控制学习算法的训练程度,则在训练不足时,学习器的拟合能力不够强,训练数据的扰动不足以使学习器产生显著变化,此时偏差主导了泛化错误率;随着训练程度的加深,学习器的拟合能力逐渐增强,训练数据发生的扰动渐渐能被学习器学到,方差逐渐主导了泛化错误率
  • 机器学习过程涉及许多类型的代价,除了误分类代价,还有测试代价、标记代价、属性代价等
  • 代价敏感学习专门研究非均等代价下的学习
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值