qq_38184698的博客

我们知道mH(N)和break point会有关系，我们再进行上限处理，将mH(N)更加一般化为B(N,k)。N个数据中，每个点有叉和圈两种情况，任意k个数据都不能出现shatter，这样的数据种类个数最大值就是B(N,k)。B(N,k)是所有break point等于k的mH(N)的上限，我们不再考虑具体hypothesis是什么。 现在来讨论B(N,k)应该是多少。对于k=1的那一列...

机器学习需要完成两个问题： 1.Ein和Eout尽可能接近 2.Ein要小 对于M来说（M表示hypothesis的size），如果M太小，对于第一个问题是好的，因为我们犯错误的几率降低；然而对第二个问题就不好，因为这意味着我们hypothesis的选择变少了，那不一定能找到一个足够小的Ein。如果M太大，情况又会相反。所以我们M的大小挺重要。 PLA的M是无限大的（如二维平面有无数多...

前面的学习并没有考虑noise的情况，而在实际中，noise是不可避免的，用银行是否给一个顾客发信用卡为例子，noise可能是： 我们需要搞清楚noise会不会影响我们前面的理论。回忆一下，我们这一切的开始是从罐子里取弹珠，我们把弹珠比作X，而这些弹珠已经是上色了，因为 ...

我们用罐子取弹珠来模拟机器学习，罐子里的弹珠类比x，假设我们已经通过机器学习得到了hypothesis h(x)，用这个h(x)分类正确的x设为绿色弹珠，分类错误设为橘色弹珠，为了能估计Eout，我们取出一些弹珠求出绿色弹珠的比例，即求Ein，就能估计Eout，而能为我们的估计作出保证的就是Hoeffding不等式。 但是上述这一过程并没有进行机器学习，因为我们已经事先得到了一个hy...

我们mH(N)得到了一个上限是多项式的保证： 所以只要我们有足够大的data，然后又有露出一线曙光的break point，我们的演算法可以自由自在的做选择，而无需担心Ein和Eout会差的很远： 学习是可能的： 现在来定义VC dimension：min(break point)-1，即max(non-break point)， 也写作dvc，是H能shatter的最大d...