西瓜书1-2章笔记

一、绪论

1 引言

机器学习是研究关于“学习算法”的学问

2 基本术语

数据集：记录的集合

记录：关于一个事件或对象的描述，称为示例或样本，也把一个示例称为一个特征向量

属性，特征：反映事件或对象在某方面的表现或性质的事项

属性值：属性上的取值；属性空间/样本空间/输入空间：属性张成的空间

假设：学得模型对应了关于数据的某种潜在的规律 hypothesis

若要预测的是离散值，这是分类问题

若要预测的是连续值，这是回归问题

根据训练问题是否拥有标志信息，可将学习任务分类：监督学习，无监督学习

分类和回归属于监督学习，聚类问题属于无监督问题

二、模型评估与选择

经验误差 过拟合

学习器在训练集上的误差：经验误差 

我们应该从训练样本中尽可能学出适用于所有潜在样本的“普遍规律”，但也有可能把训练样本自身一些特点当成所有潜在样本都会具有一般性质，这会导致泛化性能下降：过拟合

分割训练集和测试集的方法：留出法 交叉验证法 自助法

模型评估与选择时，除了要对使用学习算法进行选择，还需要对参数进行设定：调参

性能度量：均方误差（回归任务最常用的性能度量）