结构风险最小化(Structural Risk Minimization, SRM)

最新推荐文章于 2024-09-22 20:12:24 发布
原创 最新推荐文章于 2024-09-22 20:12:24 发布 · 2.3k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #数据结构与算法

结构风险最小化(SRM)是统计学习理论中的一个重要概念，它旨在通过权衡经验风险和复杂度（VC维）来最小化实际风险。SRM策略通过构建函数子集序列并选取最佳子集，确保在训练误差小的同时，降低模型的过学习风险，提高推广能力。SVM是SRM思想的一种具体实现，通过设计函数集结构，找到最小经验风险和适当复杂度的平衡点。

1、定义

　　统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。

 

2、经验风险与真实风险的关系

　　统计学习理论系统地研究了对于各种类型的函数集,经验风险和实际风险之间的关系。得出如下结论：对指示函数集中的所有函数(包括使经验风险最小的函数), 经验风险 和实际风险 之间以至少 的概率满足如下关系：

　　其中h是函数集的VC维,n是样本数.

　　这一结论从理论上说明了学习机器的实际风险是由两部分组成的:一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的VC维及训练样本数有关。 

 

　　上式可以简单地表示为：

     

最低0.47元/天 解锁文章
支持向量机SVM基于结构风险最小化准则
03-17
Vapnik 提出的支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法
每天五分钟机器学习：经验风险最小化与结构风险最小化
huanfeng_AI的博客
10-13 796
结构风险最小化采用了最大后验概率的方式来估计模型的参数，所以它就不仅仅依赖于样本数据，而是还依赖于模型参数的先验假设，那么这种情况往往可以解决模型的过拟合问题。常见的正则化方法有L1正则化和L2正则化。结构风险最小化方法考虑了模型在训练数据上的拟合程度和在新数据上的泛化能力，通过最小化结构风险来选择最佳的模型。经验风险可以看作是采用了极大化似然估计的模型评估方法，更侧重于从数据中学习模型的潜在参数，所以着眼于数据样本，这样的问题在于，当数据不足时往往只能看到一部分数据，很容易学习一种过拟合的模型。
结构风险最小化
计算机视觉小菜鸟的专栏
05-29 1万+
传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限是是不合理的，因为我们需要同时最小化经验风险和置信范围。事实上，在传统的方法中，我们选择学习模型和算法的过程，就是优化置信范围的过程，如果选择的模型比较适合现有的训练样本（h/n值适当），则可以取得比较好的效果。比如在神经网络中，需要根据问题和样本的具体情况来选择不同的网络结构（对应于不同的VC维），然后进行经验风险最小化。在模式识别问题中，选定了一种分类器形式，就确定了学习机器的VC维。实际上，这种做法就是首先通过选择模型来确定置信范围，然后固定
structural risk minimization
qq_24548569的博客
08-09 1600
结构风险最小化（SRM）是机器学习中使用的归纳原理。通常在机器学习中，必须从有限数据集中选择广义模型，随之产生过度拟合的问题——模型变得过于强烈地适应训练集的特性而对新数据的概括性差。SRM原则通过平衡模型的复杂性和其在拟合训练数据方面的成功来解决这个问题。 有许多理论和实验工作表明123，在测试集的期望误差率EtestEtestE_{\text{test}}和在训练集的训练误差率EtrainE...
期望风险最小化、经验风险最小化、结构风险最小化
刘广鑫的博客
01-02 5436
本文为阅读《关于统计学习理论与支持向量机》论文笔记 风险最小化损失函数期望风险最小化经验风险最小化结构化风险最小化VC维推广性的界结构风险最小化 损失函数 损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。 有三类基本的机器学习问题 ,即模式识别、函数逼近和概率密度估计。 对模式识别问题 ,输出 y 是类别标号
机器学习中结构风险最小化的正则化项用途及原理详解
最新发布
老猿Python
09-22 654
本文介绍了机器学习中正则化的机制，以及引入正则化可以简化模型和防止过拟合的原理。正则化项相当于在模型参数上施加了平滑性约束，使模型倾向于选择更平滑的参数值，这在某些情况下可以简化模型的行为。正则化系数λ允许控制正则化项的强度，较大的正则化系数会导致更强的简化效果，但也可能过度简化模型，引入欠拟合的风险。通过这些机制，正则化帮助模型选择一个更简单但仍然有效的参数设置，从而提高了模型在未见过的数据上的预测性能。
经验风险最小化与结构风险最小化浅析
fsfsfsdfsdfdr的博客
11-15 4218
最近在学习支持向量机，对经验风险最小化与结构风险最小化不是很了解，仔细研究后发现原来真的很简单。首先要了解一下几个概念。 置信风险： 分类器对 未知样本进行分类，得到的误差。 经验风险： 训练好的分类器，对训练样本重新分类得到的误差。即样本误差 结构风险：置信风险 + 经验风险 泛化误差界的公式为： R(w)≤Remp(w)+ϕ(h/n)R(w)≤Remp(w)+ϕ(h/n)  公式中R...
机器学习算法之SVM(1)结构风险最小化
sinat_22336563的博客
05-04 1万+
一、SVM的策略是结构风险最小化 1、几何间隔线性分类器比如感知机，目的是为了在空间中找出一个超平面，这个超平面使得分类错误率最小。在进行分类的时候，数据集中所有的点都对分界面有影响。而SVM中使用几何间隔，就是点到分界面的距离γi\gamma^i,试想如果在某一类中离分界面最近的那个点与分界面的距离越大，显然分类的确信度就越大。所以SVM中对分界面有影响的就是那些距离分界面最近的支持向量而不是全
【机器学习】经验风险最小化与结构风险最小化
热门推荐
齐在的专栏
11-11 1万+
1. 损失函数和风险函数 损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。 常用的损失函数有以下几种： （1）0-1损失函数（0-1 loss function） （1） （2）平方损失函数（quadratic loss functio...
文本分类学习 （七）支持向量机SVM 的前奏 结构风险最小化和VC维度理论
weixin_30711917的博客
05-09 392
前言: 经历过文本的特征提取，使用LibSvm工具包进行了测试，Svm算法的效果还是很好的。于是开始逐一的去了解SVM的原理。 SVM 是在建立在结构风险最小化和VC维理论的基础上。所以这篇只介绍关于SVM的理论基础。 目录：　 文本分类学习（一）开篇 文本分类学习（二）文本表示 文本分类学习（三）特征权重（TF/IDF）和特征提取 　　 文本...
机器学习——结构风险最小化（SRM）
qq_53142796的博客
04-20 1059
它表明,在有限训练样本下,学习机器的VC维（h）越高(复杂性越高)则置信范围越大,导致真实风险与经验风险之间可能的差别越大.这就是为什么会出现过学习现象的原因.机器学习过程不但要使经验风险最小,还要使VC维尽量小以缩小置信范围,才能取得较小的实际风险,即对未来样本有较好的推广性.实现SRM的思路之一就是设计函数集的某种结构使每个子集中都能取得最小的经验风险（如使训练误差为0），然后只需选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最优函数。）, 因此，需要同时最小化经验风险和置信范围。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值