机器学习-总结笔记-基本术语&模型评估与选择

最新推荐文章于 2024-09-09 14:44:05 发布

Toooooopia

最新推荐文章于 2024-09-09 14:44:05 发布

阅读量364

点赞数

分类专栏：机器学习文章标签：机器学习

版权

5 篇文章

订阅专栏

本文总结了自学《西瓜书》的心得，涵盖数据集、模型评估、参数调优等核心概念。讲解了错误率、精度、混淆矩阵、F1分数与ROC曲线等性能指标，帮助理解分类任务的评估方法。特别强调了过拟合与欠拟合，以及常用的评估技巧如留出法、交叉验证和自助法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

自学西瓜书总结笔记，间断补充学校课程。

数据集data set
示例instance / 样本sample
属性attribute / 特征feature
属性值 attribute value
属性空间attribute space / 样本空间sample space / 输入空间
训练集 / 训练样本 / 训练数据 / 测试集 / 测试样本 / 测试数据
模型 / 学习器
假设 hypothesis：习得模型对应了关于数据的某种潜在的规律
预测prediction
标记label / 样例example / 标记空间label space / 输出空间：关于示例结果的信息
分类classification
二分类binary classification：正类positive class & 负类negative class
多分类multi-class classification
回归regression
聚类clustering——簇cluster
监督学习 supervised learning / 无监督学习 unsupervised learning
泛化 generalization：学得模型可以适用于新样本的能力
通常假设样本空间中每个样本都是独立同分布的，一般而言，训练的样本越多，就有更大可能获得强泛化模型
归纳学习 inductive learning：从样例中学习
归纳偏好 inductive bias：
任何一个有效的机器学习算法必有其归纳偏好
奥卡姆剃刀Occam`s razor：若有多个假设与观察一致，则选最简单的那一个

留出法 hold-out：
D分为S&T
交叉验证法 cross validation：
D分为k个A1,A2,A3,…,Ak；A1作为测试集，A2 ~ Ak作为训练集；A2作为测试集，A1,A3 ~ Ak作为训练集…依此类推
esp：留一法 leave-one-out：即分割的每个子集只有一个样本 | 数据集较大的时候，训练m个模型的计算开销可能是难以忍受的
自助法 bootstrapping：
step1：D中随机采样生成D’ 【D中约有36.8%样本未出现在采样数据集中】
step2：D‘ 作为训练集，D\D’ 作为测试集
Advantage：适用于数据集较小、难以有效划分训练/测试集时；可以从初始数据集中产生多个不同的训练集，对于集成学习等方法有很大好处
Shortcoming：产生的数据集改变了原始数据集的分布，会引入估计偏差

回归任务常用——均方误差：即预测结果与真实标记的差值的平方的算术平均值

首先来看一下分类结果的可能出现情况（有点类似统计学里面的 typeⅠerror & typeⅡ error）。
在这里插入图片描述

平衡点 break-event point，BEP：当查全率=查准率时的取值
F1：
Fβ: 可以表达出对查准率和查全率的偏好

β的不同取值的意义如下：
ROC：受试者工作特征曲线 receiver operating characteristic
纵轴：真正例率 True Positive Rate，TPR = TP / (TP+FN)
横轴：假正例率 False Postive Rate， FPR = FP / (TN+FP)
ROC曲线越接近左上角，该分类器的性能越好
AUC
被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间