《统计学习方法》

第1章 统计学习方法概论

1.1 统计学习

统计学习（statistical learning）是关于计算机基于数据构建概率统计模型并运用模型

对数据进行预测与分析的一门学科。

        

统计学习的对象是数据（data）。

统计学习用于对数据进行预测与分析，特别是对未知新数据进行预测与分析。

 统计学习由监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi_supervised learning）和强化学习（einforcement learning）等组成。

方法概括：

        从给定的、有限 的、用于学习的训练数据（training data）集合出发，假设数据是独立同分布产生的；并 且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesis space）；应用某个 评价准则（evaluation criterion），从假设空间中选取一个最优的模型，使它对已知训练数

据及未知测试数据（test data）在给定的评价准则下有最优的预测；最优模型的选取由算法实现。这样，统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法，称其为统计学习方法的三要素，简称为模型（model）、策略（strategy）和算法（algorithm）。

实现统计学习方法的步骤如下：

（1）得到一个有限的训练数据集合；

（2）确定包含所有可能的模型的假设空间，即学习模型的集合；

（3）确定模型选择的准则，即学习的策略；

（4）实现求解最优模型的算法，即学习的算法；

（5）通过学习方法选择最优模型；

（6）利用学习的最优模型对新数据进行预测或分析。