【统计学习方法】学习笔记——第一章：统计学习及监督学习概论（理论）

本文开始，首先向李航老师表示致敬，我们由衷钦佩李航老师对于统计学习方法的深刻理解和对产业发展巨大的贡献，感谢李航老师的《统计学习方法》给予我们学习该领域的巨大帮助。

第一章：统计学习及监督学习概论

1.1 统计学习

1. 统计学习的特点
   统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测分析的学科。

统计学习的主要特点： a. 建立在计算机与网络上的； b. 以数据为研究对象； c. 目的是对数据进行预测与分析； d. 以方法为中心，构建模型； e. 涉及概率论、统计学、计算机等的交叉学科

• 对象：统计学习研究的对象是数据 (data) 。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，有回到对数据的分析与预测中去。同类数据具有一定的统计规律性。
• 目的：学习什么样的模型和如何学习模型，通过构建概率统计模型对数据，特别是未知新数据，进行准确的预测与分析，同时提高学习效率。
• 方法：基于数据构建概率统计模型，从而对数据进行预测与分析。统计学习由监督学习、无监督学习和强化学习等组成。

实现统计学习方法的步骤如下：
（1）得到一个有限的训练数据集合；
（2）确定包含所有可能的模型的假设空间，即学习模型的集合；
（3）确定模型