【西瓜书阅读笔记】02模型评估与选择:一个训练集多种算法 + 多种训练集一种算法

机器学习(西瓜书) 第二章 模型评估与选择 本章内容是作者阅读《机器学习》(周志华)(网友戏称“西瓜书”,因为本书作者从第一章开始便通过如何辨别好的西瓜的例子来剖析机器学习的实质。)及相关资料写的。笔者在写此博客前,也看到了网上发布了大量相关此书的读书笔记,但翻来看去发现存在公式放的较多、大量拍摄书上的内容照片直接贴图等情况,不太适合新手阅读。故,作者写下此篇博客。笔者尽可能简化公式或者不放公式,读者在阅读过程中不要过于纠结看懂里面的数学公式,只需搞懂里面各种的作用,内在大致的缘由即可。 阅读详情

一、P-R曲线

 1、比较多个P-R曲线

(1)ABC三个模型: B>C; A和B难以确定;

(2)AB算法的比较

1) 比较AB的面积,但难以测量;

2) F1;

3) F_beta;

【西瓜书阅读笔记】02模型评估与选择:一个训练集一种算法_Checkmate9949的博客-优快云博客

二、ROC与AUC

1、ROC: Receiver Operating Characteristics

(1) TPR: True positive rate

TPR=\frac{TP}{TP+FN}

(2) FPR: False positive rate

FPR=\frac{FP}{TN+FP}

TPR和FPR同向变动;

(3) ROC示意图

2、AUC: Area Under ROC Curve

(1) AUC公式

A UC=\frac{1}{2}\sum_{i=1}^{m-1}(x_{i+1}-x_i)(y_i+y_{i+1})

(2) Loss_rank:由例子到公式

(3)AUC与Loss_rank的关系

多种训练集一种算法

一、代价敏感错误率

二、代价敏感曲线

参考:机器学习(周志华)第2.3.4节中,代价曲线的理解? - 知乎

1、明确参数:p=m+/m

2、思路

(1)目的:对于一个模型,根据p的不同,找到使得代价总期望最小的模型的阈值

(2)横轴:归一化的正概率代价期望

(3)纵轴:归一化的总代价期望

 FNR \times p\times cost_{01}+FPR\times (1-p)\times cost_{10}即为总代价

分子为总代价期望

(4)根据阈值的不同取值,计算多条代价曲线。

给定正概率代价期望下,即正例概率p下,选择总代价期望最小的点。

注意:p=0时,总代价期望为FPR;p=1时,总代价期望为FNR。 

(5)为什么要归一化

若不加分母,代价曲线如下:

  标准化,所有变量单位缩放到 [0,1]

三、偏差与方差

1、算法为什么具有这样的性能:“偏差-方差”分解

2、拆解算法的期望泛化错误率

(1)双期望符号:求两次期望

 (2)一些定义

期望预测:预测的期望值;

方差:同一样本D,不同训练集上预测产生的方差,即与其预测均值(期望预测)比较;

噪声:预测与真实值差值的期望;

偏差:预测的期望值与真实值的差。

(3)对期望泛化误差分解得到

 偏差:算法期望预测与真实结果的偏离程度;

方差:训练集的变动(来自同一分布同样大小)导致学习性能变化;

噪声:算法能达到期望泛化误差的下界。

(4)偏差-方差窘境

 不同训练程度,主导泛化误差的因素不同:随着训练程度的加深,方差将逐渐主导泛化误差。

 

【学习笔记、面试准备】机器学习西瓜书要点归纳和课后习题参考答案——第2章 t。 阅读详情

相关推荐

Flightmare实战:从零搭建强化学习无人机控制环境

本文详细介绍了从零开始搭建Flightmare强化学习无人机控制环境的完整流程。内容包括环境准备、核心库安装、依赖冲突解决,以及如何运行PPO算法示例进行训练与可视化测试。文章还提供了环境配置、自定义任务修改及常见问题的避坑指南,帮助开发者快速上手这一模块化的无人机RL仿真平台。

weixin_29081101的博客 356

Word中怎么输入 机器学习里的“期望”符号大写字母E/公式里的双线“E”

最近写论文,在word里输入公式时需要用到期望的符号“E”,花点时间整理了一下。发现目前的公式有很多种写法,下面详细介绍: (1)形如“E”。这种直接打大写字母E即可。 (2)形如下图1的形式: 图1 此时可以在word中选择字体为“HGSXT-CNKI”,如图2所示。 图2 (3)形如图3所示的符号,此时可以在word中选择字体为“Castellar”。 图3 (4)形如图4所示的符号,此时可以在word中选择字体为“Euclid Math Two”。 图4 (...

shea的博客 2万+

cuda安装时出现错误 Unable to locate package cuda-toolkit-12-4

cuda安装时出现错误 Unable to locate package cuda-toolkit-12-4

4872

在Mathtype中打出双期望符号的两种方式

1、直接在mathtype中复制:\mathbb{E} 2、三步走 (1)设置文本样式: (2)选择Euclid Math Two (3)打出E,设置样式为文本即可

Checkmate9949的博客 1万+

Keil5安装多版本共存方案:实用技巧分享

分享Keil5安装过程中实现多版本共存的实用方法,解决开发环境冲突问题。通过合理配置路径与版本管理,让keil5安装更高效稳定,提升嵌入式开发体验。

weixin_42514750的博客 1539

微信自动化必备软件:inspect(获取微信界面元素)

SaveButton10015.2:1 ✅(合格)Passed ✅说明这个控件完全符合无障碍标准。

Ven%的博客 1386

神经网络训练中如何一次跑多个数据集

目录一、对于直接用参数指令修改读取文件路径的代码二、对于在代码中修改文件读取路径与指定权值文件保存路径的程序1.找到读取训练数据的程序2.找到保存权值文件的程序3.修改步骤步骤一:定义函数时添加相应参数(1)定义函数时添加相应参数,对于读取训练数据的程序添加 'dataroot' 参数(2)对于保存权值文件的程序,指定权值文件保存路径时添加 'name' 参数(3)在command中定义对应的参数变量步骤二:编写脚本程序,与内容一中的类似 一、对于直接用参数指令修改读取文件路径的代码 形如: python3

ZHW-鲜橙大AI课题组的博客 4464

centos-stream-9上安装nvidia驱动和cuda-toolkit

centos-stream-9上安装nvidia驱动和cuda-toolkit

qq_19072921的博客 3022

【机器学习-西瓜书】二、性能度量:召回率;P-R曲线;F1值;ROC;AUC

关键词:准确率(查准率,precision);召回率(查全率,recall);P-R曲线,平衡点(Break-Even Point, BEP);F1值,F值;ROC(Receiver Operating Characteristic,受试者工作特征);AUC(Area Under ROC Curve);非均等代价(unequal cost)2.3性能度量关键词:准确率(查准率,precision);

人工智能技术学习与分享 5111

香橙派5上跑DeepSeek-R1的避坑指南:从模型下载到NPU加速全流程解析

本文详细解析了在香橙派5(RK3588)上部署DeepSeek-R1蒸馏模型的完整流程与优化技巧。内容涵盖从系统配置、RKLLM工具链编译、模型转换到NPU加速调优的全过程,重点分享了如何利用RK3588的NPU算力实现高效推理,并提供了常见问题的解决方案,为边缘设备部署LLM提供了实用指南。

CAT789的专栏 717

从TM1到TM9:手把手教你用Wireshark抓包分析LTE下行调度与传输模式切换

本文详细解析了如何使用Wireshark抓包分析LTE下行调度中的传输模式切换,从TM1到TM9的动态调整过程。通过实战案例,包括小区边缘移动、高速场景和多用户调度,揭示eNodeB如何基于信道质量指标(如RSRP、SINR)动态切换传输模式,并提供关键信令解析和优化建议,助力网络工程师提升LTE网络性能。

weixin_42651748的博客 317

如何解决样本不均衡问题

解决样本不均衡的问题很多,主流的几个如下: 1.样本的过采样和欠采样。 2..使用多个分类器进行分类。 3.将二分类问题转换成其他问题。 4.改变正负类别样本在模型中的权重。 一、样本的过采样和欠采样。 1.过采样:将稀有类别的样本进行复制,通过增加此稀有类样本的数量来平衡数据集。该方法适用于数据量较小的情况。 2.欠抽样:从丰富类别的样本中随机选取和稀有类别相同数目的样...

weixin_30787531的博客 1105

【PINN物理信息网络】基于PINN物理信息网络求解瞬态薛定谔方程(python)

【PINN物理信息网络】基于PINN物理信息网络求解瞬态薛定谔方程(python)

k8291121的博客 2724

西瓜书重温(二): 模型评估与选择

1. 写在前面 寒假在家的时间想重新阅读周志华老师的《机器学习》, 第一是找工作需要,第二是内在驱动,自己也确实想学习关于算法的一些底层知识了, 吴军老师在《数学之美》里面说: “技术分为道和术两种, 具体的做事方法是术, 做事的原理和原则是道, 追求术的人一辈子工作很辛苦,而只有掌握了事情的本质和精髓才能在工作中游刃有余”, 西瓜书我觉得应该就是道的层面去总结机器学习, 虽然我感觉这本书对初学者不是很友好 ,因为我第一次读这本书的时候是上一年比这早些时候, 那时候给我的体会是完全不知所云或者是停留在皮毛根

Miracle8070 2117

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

【机器学习】西瓜书+南瓜书阅读笔记- 第1 & 2 章: 概览、 模型评估与选择

机器学习基本术语、模型的分类方法、假设空间、归纳偏好以及模型评估与选择的方法。包括留出法、交叉验证、自助法等,涉及模型的泛化能力与过拟合问题,分层采样与自主采样对模型评估的影响。

学习笔记 1757

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【西瓜书阅读笔记】第一章到第四章

【西瓜书阅读笔记】第一章1.2基本术语1.3 假设空间第二章 模型评估与选择2.2评估方法训练集测试集划分2.2.1留出法2.2.2交叉验证法2.2.3自助法2.2.4调参与最终模型2.3 性能度量2.3.1 错误率与精度2.3.2 查准率、查全率与F1TP FP TN FN指标![在这里插入图片描述](https://img-blog.csdnimg.cn/20210511161227209.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdG

qq1406433326 1087

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

西瓜书《机器学习》阅读笔记之第二章模型评估与选择

第2章 模型评估与选择 2.1 经验误差与过拟合 错误率、精度 如果在 m 个样本中有 α 个样本分类错误,则错误率 E= α/m;相应的,1 - α/m称为”精度“; [P22] 误差(训练误差、泛化误差) 把学习器的实际预测输出与样本的真实输出之间的差异称为"误差" (error);学习器在训练集上的误差称为"训练误差" (training error)或"经验误差" (empirical error),在新样本上的误差称为"泛化误差" (generalization error). [P22]

得未曾有 心净踊跃 571

【西瓜书阅读笔记】02模型评估与选择:一个训练集一种算法

一、一个训练集一种算法 1、经验误差与过拟合 (1)error rates错误率: E=a/m (2)accuracy正确率= 1-E (3) (4)Overfitting and underfitting 2、评估方法 (1)泛化能力:测试集 (2)Split dataset: 留出法: from sklearn.model_selection import cross_val_score, train_test_split testing_classes) = train_.

Checkmate9949的博客 273

【西瓜书】机器学习的模型评估

西瓜书是很多人入门机器学习的必读书目,本文根据西瓜书、南瓜书的内容,对模型评估部分的通用术语进行条目化整理,便于快速学习和查询。

乘风而来的思绪 1286

【西瓜书】训练集与测试集的划分

测试集应该尽可能与训练集互斥。常见的分离测试集和训练集方法有留出法(hold out)、交叉验证法(cross validation)、自助法(bootstapping)等。

乘风而来的思绪 1403

机器学习西瓜书笔记

1.精度=1-错误率 2.训练集上的误差为‘训练误差’或‘经验误差’,新样本上的误差为‘泛化误差’ 3.过拟合是机器学习面临的关键障碍,欠拟合可通过决策树学习中拓展分支,在神经网络学习中增加训练轮数 4.过拟合无法彻底避免单次留出法不够稳定可靠,一般要采用若干次随机划分、重复进行试验评估取平均值作为留出法的评估结果,常见做法是将大约2/3~4/5的样本用作训练下面是K折交叉验证的基本步骤: 将数据集分成K个大小相似的子集,通常称为折(fold)。 选择一个折作为测试集,其余K-1个折作为训练集。 使用训练集

weixin_44844703的博客 1090

【Task01】Datawhale202205组队学习 吃瓜教程 机器学习西瓜书+南瓜书

【Task01】Datawhale202205组队学习 吃瓜教程 机器学习西瓜书+南瓜书 概览西瓜书+南瓜书第1、2章 学习建议:概览西瓜书第1章和第2章的基本概念和术语,跳过以下内容: 第1章:【1.4-归纳偏好】可以跳过 第2章:【2.3.3-ROC与AUC】及其以后的都可以跳过 目录西瓜书勘误(转)第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状1.7 阅读材料第2章 模型评估与选择2.1 经验误差与过拟合2.2 评估方法2.2.1 留出法2.2

HungryFoolish248 1035

西瓜书~至臻笔记(二)——模型评估与选择(可直接享用)

【和我一起学习机器学习】主要包括对西瓜书内容的解读,公式推导以及知识点整理;内有详细的理解引导,具体的公式推引,一字一句带你从浅入深学习西瓜书中的算法思想。

笔岸柳影 1001

西瓜书第二章阅读笔记

西瓜书第二章阅读笔记

zcgai的博客 745

机器学习·西瓜书|知识点梳理-第二章

若令训练集S包含绝大多数样本,则训练出的模型可能更接近于用D训练出的模型,但由于T比较小,评估结果可能不够稳定准确若令测试集T多包含一些样本,则训练集S与D差别更大了,被评 估的模型与用D训练出的模型相比可能有较大差别,从而降低了评估结果的保真性(fidelity).。例如通过对D进行分层采样而获得含70%样本的训练集S和含30%样本的测试集T,若D包含500个正例、 500个反例,则分层采样得到的S应包含350个正例、350个反例,而T则包含150个正例和 150个反例;而查全率高时,查准率往往偏低。

BlueEstrella的博客 1314

《西瓜书》阅读笔记——第二章

周志华——机器学习西瓜书阅读笔记第二章

Morphine_的博客 514
上一篇: 【西瓜书阅读笔记】02模型评估与选择:一个训练集一种算法
下一篇: ImportError: DLL load failed while importing defs: 找不到指定的程序。
Checkmate9949
博客等级 码龄5年 6176粉丝 43原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值