统计学习方法-李航-第一章学习笔记

**

第1章 统计学习方法概论**

统计学习的对象是数据，关于数据的基本假设是同类数据具有一定的统计规律性。
特点：
（1）数据独立同分布；
（2）模型属于某个假设空间（学习范围）；
（3）给定评价准则下最优预测；
（4）最优模型的选择由算法实现

统计学习分类
统计学习：监督学习 非监督学习 强化学习 (半监督学习 主动学习)
监督学习：X_train X_test Y_train T_test
监督学习->分类 标注 回归(预测)

无监督学习：指从无标注数据中学习预测模型的机器模型（旨在从假设空间中选出给定评价准则下的最优模型）
->可用于对已有数据的分析，也可用于对未来数据的预测
强化学习：指智能系统在与环境的连续互动中学习最优行为策略的机器学习。
半监督学习：指利用标注数据和未标注数据学习预测模型的机器学习问题。
主动学习：指机器不断主动给出实例让教室进行标注，然后利用标注数据学习预测模型的机器学习问题。

三要素
三要素：方法=模型+策略+算法
模型：模型就是所要学习的条件概率分布（非概率模型）或决策函数（概率模型）
策略：选择最优化的目标函数（损失函数和风险函数、经验风险最小化和结构风险最小化）
算法：学习模型的具体计算方法，最优化求解问题

模型评估与选择
过拟合：如果一味追求提高训练数据的预测能力，所选模型的复杂度则往往会比真模型更高。（指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象）
->可以说，模型选择旨在避免过拟合并提高模型的预测能力。

正则化和交叉验证（模型选择方法）
正则化是模型选择的典型方法。
正则化是结构风险最小化策略的实现，是在经验风险上加一个正则项或罚项。
模型越复杂，正则化值越大。

交叉验证是模型选择的另一种方法。
如果给定的样本数据充足，进行模型选择的一种简单方法是随机地将数据集切分成三部分，分为训练集、验证集和测试集。
（1）简单交叉验证

（2）S折交叉验证

（3）留一交叉验证

泛化能力
通常将学习方法对未知数据的预测能力称为泛化能力。
->通常采用测试误差来评价学习方法的番红花能力。
->如果一种方法学习的模型比另一种方法学习模型具有更小的泛化误差，那么这种方法就更有效。
->训练误差小的模型，其泛化误差也会小。

生成模型与判别模型
生成方法由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型P(Y|X)=P(X,Y)/P(X)。模型给定了输入X产生输出Y的生成关系。典型的有朴素贝叶斯和隐马尔可夫。
判别方法由数据直接学习决策函数或条件概率分布。典型的有k近邻，感知机，决策树，最大熵，SVM等。

分类问题
在监督学习中，当输出变量Y取有限个离散值时，预测问题便成为分类问题。
（此时，输入变量X可以是离散的，也可以是连续的）
监督学习从数据中学习一个分类模型或分类决策函数，称为分类器。
分类器对新的输入进行输出的预测，称为分类。
可能的输出称为类。分类的类别为多个时，称为多分类问题。

分类器评价准则（分类准确率）：对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。

标注问题
标注也是一个监督学习问题，可认为是分类问题的一个推广。
标注问题的输入是一个观测序列，输出是一个标记序列或状态序列。
标注问题分为学习和标注两个过程。

回归问题
回归问题的学习等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。（学习和预测两个过程）

按照输入变量个数，分为一元回归和多元回归。
按照输入变量和输出变量之间的关系类型，分为线性回归和非线性回归。