统计学习三要素 模型+策略+算法

统计学习由模型、策略和算法三要素构成。模型指学习的条件概率分布或决策函数,如线性函数模型。策略涉及选择最优模型,包括经验风险最小化和结构风险最小化,后者用于防止过拟合。算法则是实现模型选择的具体计算方法,涉及最优化问题的求解,确保找到全局最优解并提高效率。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

统计学习方法都是由模型、 策略和算法构成的。
即统计学习方法由三要素构成, 可以简单地表示为:方法=模型+策略+算法

模型

  1. 统计学习首要考虑的问题是学习什么样的模型。
  2. 在监督学习过程中, 模型就是所要学习的条件概率分布或决策函数。
  3. 模型的假设空间包含所有可能的条件概率分布或决策函数。
    例如, 假设决策函数是输入变量的线性函数, 那么模型的假设空间就是所有这些线性函数构成的函数集合。 假设空间中的模型一般有无穷多个。
    image.png

策略

有了模型的假设空间, 统计学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。 统计学习的目标在于从假设空间中选取最优模型。
首先引入损失函数与风险函数的概念。
1. 损失函数度量模型一次预测的好坏
2. 风险函数度量平均意义下模型预测的好坏

损失函数

image.png
image.png

风险函数或期望损失

image.png
image.png

经验风险或经验损失

image.png

经验风险最小化

在假设空间、 损失函数以及训练数据集确定的情况下, 经验风险函数式(1.10) 就可以确定。 经验风险最小化(empirical riskminimization, ERM) 的策略认为:
经验风险最小的模型是最优的模型。
根据这一策略, 按照经验风险最小化求最优模型就是求解最优化问题:
image.png
但是, 当样本容量很小时, 经验风险最小化学习的效果就未必很好, 会产生后面将要叙述的“过拟合(over-fitting)”现象。

结构风险最小化

结构风险最小化(structural risk minimization, SRM) 是为了防止过拟合而提出来的策略。 结构风险最小化等价于正则化(regularization) 。
结构风险在经验风险上加上表示模型复杂度的正则化项(regularizer) 或罚项(penaltyterm) 。
在假设空间、 损失函数以及训练数据集确定的情况下, 结构风险的定义是:
image.png
这样, 监督学习问题就变成了经验风险或结构风险函数的最优化问题(1.11) 和(1.13) 。 这时经验或结构风险函数是最优化的目标函数。

算法

算法是指学习模型的具体计算方法。

统计学习基于训练数据集,根据学习策略, 从假设空间中选择最优模型, 最后需要考虑用什么样的计算方法求解最优模型。

这时, 统计学习问题归结为最优化问题, 统计学习的算法成为求解最优化问题的算法。

如果最优化问题有显式的解析解, 这个最优化问题就比较简单。 但通常解析解不存在, 这就需要用数值计算的方法求解。

如何保证找到全局最优解, 并使求解的过程非常高效, 就成为一个重要问题。

统计学习可以利用已有的最优化算法, 有时也需要开发独自的最优化算法。

统计学习方法之间的不同, 主要来自其模型、 策略、 算法的不同。 确定了模型、 策略、 算法, 统计学习的方法也就确定了。 这也就是将其称为统计学习三要素的原因。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值