统计学习方法概述

统计学习方法概述

1、实现统计学习方法的基本步骤：

• 得到一个有限的训练数据集合
• 确定包含所有可能的模型的假设空间，即学习模型的集合
• 确定模型选择的准则，即学习的策略
• 实现求解最优解的算法，即学习的算法
• 通过学习方法选择最优模型
• 利用学习的最优模型对新数据进行预测或分析

2、监督学习

监督学习 的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。

输入空间和输出空间是输入和输出的所有可能取值的集合，可以是有限个元素，也可以是整个欧式空间。

每个输入由特征向量表示，所有特征向量的空间为特征空间。特征向量的每一维对应一个特征。输入空间和特征空间不一定一致。模型输入时都会将输入空间的实例映射到特征空间的特征向量。

输入和输出变量用大写字母表示，所取的值用小写字母表示。变量可以是标量和向量。

回归问题是输入变量和输出变量均为连续变量的预测问题；分类问题是输出变量为有限个离散变量的预测问题；标注问题是输入变量和输出变量均为变量序列的预测问题。