统计学习方法概论

最新推荐文章于 2022-12-02 11:05:44 发布

原创最新推荐文章于 2022-12-02 11:05:44 发布 · 540 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#统计学习方法

机器学习专栏收录该内容

1 篇文章

订阅专栏

（学习李航的《统计学习方法》笔记）

1.1 统计学习

统计学习（statistical learning）是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习（statistical machine learning）。
赫尔伯特 $\cdot$ 西蒙（Herbert A.Simon）曾对“学习”给出以下定义：“如果一个系统能够通过执行某个过程改进它的性能，这就是学习。”
统计学习的对象是数据。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的只是，又回到对数据的分析与预测中去。
统计学习的三要素是模型（mode）、策略（strategy）和算法（algorithm）。

1.2监督学习

几个基本概念：
输入空间
特征空间
输出空间
联合概率分布
假设空间：模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。

1.3 统计学习三要素

方法=模型+策略+算法
模型就是所要学习的条件概率分布或决策函数。
假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合。
假设空间用F表示。假设空间可以定义为决策函数的集合

F = {f | Y = f (X)}

$\mathcal F=\{f|Y=f(X)\}$
其中，X和Y是定义在输入空间

X $\mathcal X$ 和输出空间

Y $\mathcal Y$ 上的变量。这时

F $\mathcal F$ 通常是由一个参数向量决定的函数族：

F = {f | Y = f θ (X), θ \in R n}

$\mathcal F=\{f|Y=f_\theta (X),\theta \in \mathbf R^n\}$
参数向量

θ $\theta$ 取值于

n $n$ 维欧氏空间，称为参数空间（parameter space）。
假设空间也可以定义为条件概率的集合

F = {P | P (Y | X)}

$\mathcal F=\{P|P(Y|X)\}$
其中，X和Y是定义在输入空间

X $\mathcal X$ 和输出空间

Y $\mathcal Y$ 上的随机变量。这时

F $\mathcal F$ 通常是由一个参数向量决定的条件概率分布族：

F = {P | P θ (Y | X), θ \in R n}

$\mathcal F=\{P|P_\theta(Y|X),\theta \in \mathbf R^n\}$
参数向量

θ $\theta$ 取值于

n $n$ 维欧氏空间，也称为参数空间（parameter space）。

策略

损失函数和风险函数。
监督学习问题是在假设空间 $\mathcal F$ 中选取模型 $\mathcal f$ 作为决策函数，对于给定的输入 $X$ ，由 $\mathcal f(X)$ 与真实值 $Y$ 可能不一致，用一个损失函数（loss function）或代价函数（cost function）来度量预测错误的程度。
常见的损失函数有：
0-1损失函数；
平方损失函数；
绝对损失函数；
对数损失函数。
模型 $\mathcal f(X)$ 关于训练数据集的平均损失称为经验风险，或经验损失。
经验风险最小的模型是最优的模型。
结构风险最小化是为了防止过拟合而提出来的策略。

1.4模型评估与模型选择

假设学习到的模型是 $Y=f \hat (X)$ ，训练误差是模型 $Y=f \hat (X)$ 关于训练数据集的平均损失。
如果一味追求提高对训练数据的预测能力，所选模型的复杂度则往往会比真模型更高。这种现象称为过拟合。过拟合是指学习时选择的模型所包含的参数过多，以致于出现这一模型对已知数据预测得很好，但对未知数据预测得很差的现象。