统计学习基础-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_53531913/article/details/122568592

1.1 统计学习

特点：

（1）以计算机及网络为平台；

（2）以数据为研究对象；

（3）目的是对数据进行预测与分析；

（4）以方法为中心；

（5）是多个领域的交叉学科。

实现统计学习的步骤：

（1）有一个有限的训练集数据集合；

（2）确定包含所有可能的模型的假设空间（模型）；

（3）确定模型选择的准则（策略）；

（4）实现求解最优模型的算法（算法）；

（5）选择最优模型；

（6）利用最优模型对新数据进行预测或分析。

1.2 统计学的分类

基本分类：有监督学习、无监督学习和强化学习。有时还包括半监督学习和主动学习。

监督学习

数据有标注，表示输入输出的对应关系。预测模型对给定的输入产生相应的输出。本质是学习输入到输出的映射的统计规律。

基本假设：输入与输出的随机变量 $X$ 和 $Y$ 遵循联合概率分布 $P(X|Y)$ 。

目的：学习一个由输入到输出的映射，映射由模型来决定。

模型：条件概率分布 $P(Y|X)$ 或决策函数 $Y=f(X)$ 表示。

输入变量与输出变量为连续变量的预测问题为回归问题，

输出变量为有限个离散变量的预测问题为分类问题，

输入变量与输出变量均为变量序列的预测问题为标注问题。

无监督学习

数据无标注，是自然得到的数据。预测模型表示数据的类别、转换或概率。本质是学习数据中的统计规律或潜在结构。

1.3 统计学习方法的三要素

模型＋策略＋算法

监督学习

模型：条件概率分布或决策函数

决策函数：

假设空间用 $F$ 表示

假设空间为函数的集合： $F=\left \{ f|Y=f(X)\right \}$

$F$ 通常是由一个参数向量决定的函数族： $F=\left \{ f|Y=f_{\theta } \left ( X \right ),\theta\epsilon \mathbb{R}^{n}\right \}$

参数 $\theta$ 取值于 $n$ 维欧式空间 $\mathbb{R}^{n}$ 。

例如：当模型为线性回归时。

对于一组数据 $x=\left \{ x\left ( 1 \right ) ,x\left ( 2 \right ) ,\cdots,x\left ( n \right ) \right \}^{T}$ ，

决策函数 $f\left ( x \right )=w^{\left ( 1 \right )}x^{\left ( 1 \right )}+w^{\left ( 2 \right)}x^{\left ( 2 \right )}+\cdots+w^{\left ( n\right )}x^{\left ( n \right )}+b$

向量形式为 $f\left ( x \right )=wx+b$ ，其中 $w=\left \{ w^{\left ( 1 \right )},w^{\left ( 2 \right )} ,\cdots,w^{\left ( n \right )} \right \}$

那么这里参数空间就是由 $w$ 和 $b$ 组成的空间。

策略：

1、损失函数和风险函数

损失函数是 $f\left ( X\right )$ 和 $Y$ 的非负实数值，记作 $L\left ( Y,f\left ( X \right ) \right )$ 。

损失函数的期望称为风险函数或期望损失。表达为：

$R_{exp}\left ( f \right )\\=E_{p}|\left [ L \left(Y,f\left ( X \right ) \right )\right ]\\=\int _{X*Y}L\left ( y,f\left (x \right ) \right )P\left ( x,y \right )dxdy$