Radermacher Complexity

本文探讨Radermacher复杂度在机器学习中的作用,它衡量样本复杂性和函数集合的可学习性。介绍了Growth function作为Random Complexity的上界,以及VC dimension的概念。还提及了McDiarmid's inequality、Hoeffding's lemma和不等式在其中的应用。过拟合问题和训练集、测试集误差的关系也通过Radermacher复杂度得到阐述。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文主要从理解方面入手以及各个公式之间的关系,没有证明(因为证明看了我也会忘。。)
简要概念
1. Radermacher Complexity:样本复杂性与无穷集合的可学习性之间的关系. 值:在一个函数集合中,所有函数与random noise相关性的最大值。
2. Growth function: Random Complexity 的求法是NP-hard,所以我们用Growth function 来近似他的上届。值:在一个样本集合S中,有m个样本, 这m个样本被H集合中的不同函数进行分类的所有不同方式
3. VC dimension:在样本集合S中,可以被H集合中不同函数分开的最大样本数,或者 有多少样本可以被H集合中的函数打散(所有样本各种标签组合H里的函数都可以正确分类)。对于一个样本S集合,函数 H 若所有样本都可以被打散。由于每个样本有两中选择0

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值