一、P-R曲线
1、比较多个P-R曲线

(1)ABC三个模型: B>C; A和B难以确定;
(2)AB算法的比较
1) 比较AB的面积,但难以测量;
2) F1;
3) F_beta;
【西瓜书阅读笔记】02模型评估与选择:一个训练集一种算法_Checkmate9949的博客-优快云博客
二、ROC与AUC
1、ROC: Receiver Operating Characteristics
(1) TPR: True positive rate
(2) FPR: False positive rate
TPR和FPR同向变动;

(3) ROC示意图

2、AUC: Area Under ROC Curve
(1) AUC公式
(2) Loss_rank:由例子到公式


(3)AUC与Loss_rank的关系

多种训练集一种算法
一、代价敏感错误率

二、代价敏感曲线
参考:机器学习(周志华)第2.3.4节中,代价曲线的理解? - 知乎
1、明确参数:p=m+/m
2、思路
(1)目的:对于一个模型,根据p的不同,找到使得代价总期望最小的模型的阈值
(2)横轴:归一化的正概率代价期望

(3)纵轴:归一化的总代价期望

即为总代价
分子为总代价期望
(4)根据阈值的不同取值,计算多条代价曲线。
给定正概率代价期望下,即正例概率p下,选择总代价期望最小的点。

注意:p=0时,总代价期望为FPR;p=1时,总代价期望为FNR。
(5)为什么要归一化
若不加分母,代价曲线如下:

标准化,所有变量单位缩放到 [0,1]

三、偏差与方差
1、算法为什么具有这样的性能:“偏差-方差”分解
2、拆解算法的期望泛化错误率
(1)双期望符号:求两次期望

(2)一些定义
期望预测:预测的期望值;
方差:同一样本D,不同训练集上预测产生的方差,即与其预测均值(期望预测)比较;
噪声:预测与真实值差值的期望;
偏差:预测的期望值与真实值的差。

(3)对期望泛化误差分解得到

偏差:算法期望预测与真实结果的偏离程度;
方差:训练集的变动(来自同一分布同样大小)导致学习性能变化;
噪声:算法能达到期望泛化误差的下界。
(4)偏差-方差窘境

不同训练程度,主导泛化误差的因素不同:随着训练程度的加深,方差将逐渐主导泛化误差。

356



被折叠的 条评论
为什么被折叠?



