本文探讨Radermacher复杂度在机器学习中的作用，它衡量样本复杂性和函数集合的可学习性。介绍了Growth function作为Random Complexity的上界，以及VC dimension的概念。还提及了McDiarmid's inequality、Hoeffding's lemma和不等式在其中的应用。过拟合问题和训练集、测试集误差的关系也通过Radermacher复杂度得到阐述。
本文主要从理解方面入手以及各个公式之间的关系，没有证明（因为证明看了我也会忘。。）
简要概念
1. Radermacher Complexity：样本复杂性与无穷集合的可学习性之间的关系. 值：在一个函数集合中,所有函数与random noise相关性的最大值。
2. Growth function: Random Complexity 的求法是NP-hard，所以我们用Growth function 来近似他的上届。值：在一个样本集合S中，有m个样本， 这m个样本被H集合中的不同函数进行分类的所有不同方式
3. VC dimension:在样本集合S中，可以被H集合中不同函数分开的最大样本数，或者 有多少样本可以被H集合中的函数打散(所有样本各种标签组合H里的函数都可以正确分类)。对于一个样本S集合,函数
最低0.47元/天 解锁文章
扫一扫
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
