【机器学习】《统计学习方法》自学笔记整理

第一章 统计学习与监督学习概论

1.1 统计学习

统计学习的特点

是关于计算机基于数据结构概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也成为统计机器学习。

统计学习的对象

是数据。从数据出发，学习数据的特征，抽象数据的模型，再对数据进行分析与预测。

统计学习的目的

用于对数据的预测与分析，特别是对未知新数据的预测与分析。

统计学习的方法

1. 从训练数据出发，假设数据独立同分布的
2. 确定要学习的模型（特殊）属于某个函数的合集（一般）（e.g.某线性回归模型属于线性函数族）
3. （对模型的好坏）应用某个评价准则，在这个评价准则下，数据可以在模型作用下获得最优的预测或者分析
4. 由算法实现最优模型的选则

其中第2、3、4分别就是统计学习方法的三要素：模型（框定了学习范围）、策略（指示什么是好的模型）、算法（如何去找到最优的模型-即该一般化函数对应的特异性参数）

1.2 统计学习的分类

基本分类

监督学习（SL）

输入空间、特征空间、输出空间

• 输入空间、输出空间：输入与输出的所有可能取值的集合
• 特征向量：用来表示每一个具体的输入（instance）
• 特征空间：所有特征向量存在的空间，他的每一个维度对应一个特征（有时输入空间=特征空间，有时输入空间与输出空间需要存在一定的线性映射 e.g,embedding-语义处理）
• 输入变量写作X，输入变量的值写作x，第i个输入变量写作，输入变量的第i个特征写作