结构风险最小化(Structural Risk Minimization, SRM)

结构风险最小化(SRM)是统计学习理论中的一个重要概念,它旨在通过权衡经验风险和复杂度(VC维)来最小化实际风险。SRM策略通过构建函数子集序列并选取最佳子集,确保在训练误差小的同时,降低模型的过学习风险,提高推广能力。SVM是SRM思想的一种具体实现,通过设计函数集结构,找到最小经验风险和适当复杂度的平衡点。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、定义

  统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization),即SRM准则。

 

2、经验风险与真实风险的关系

  统计学习理论系统地研究了对于各种类型的函数集,经验风险和实际风险之间的关系。得出如下结论:对指示函数集中的所有函数(包括使经验风险最小的函数), 经验风险 和实际风险 之间以至少 的概率满足如下关系:

  其中h是函数集的VC维,n是样本数.

  这一结论从理论上说明了学习机器的实际风险是由两部分组成的:一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的VC维及训练样本数有关。 

 

  上式可以简单地表示为:

     

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值