西瓜书/南瓜书--第1，2章总结

目录

 第一章  绪论

1.基本术语

 2.假设空间

3.归纳偏好

第二章  模型评估与选择

1.经验误差与过拟合

 2.评估方法

 3.性能度量

---

 第一章  绪论

这一章主要介绍了机器学习的一些基本概念，包括基本术语，假设空间，归纳偏好等；

1.基本术语

数据集：

从特征上：分为输入空间和输出空间；

从样本上：分为训练集，测试集；其中训练集的样本又可以分为训练集和验证集；

从机器学习类型上：分为监督学习和无监督学习；其中监督学习带有标签，有输出，每一条数据也称作样例。

 2.假设空间

假设空间简单来说就是输入空间的集合。

3.归纳偏好

归纳偏好我理解的就是模型的拟合效果。

奥卡姆剃刀原则：若有多个假设与观察一致，就选最简单的那个；换句话说，如果多个模型都能实现较好的效果，就选择最简单的模型；

没有免费的午餐定理（NFL定理）：在所有的机会出现相同的情况下或者说所有问题同等重要的前提下，所有学习的期望性能相同。

第二章  模型评估与选择

模型评估对于一个模型的性能判断非常重要，这一部分主要包括经验误差与过拟合、评估方法、性能度量。

1.经验误差与过拟合

过拟合：模型过于复杂；

欠拟合：模型学习能力低下。

 2.评估方法

 

 3.性能度量