本文深入探讨了支持向量机（SVM）的优化理论，包括原问题和对偶问题。通过阐述原问题的最小化目标及约束条件，展示了对偶问题的构建过程。在凸函数条件下，证明了原问题与对偶问题的强对偶性，并详细解释了如何从对偶问题的解推导出SVM的参数ω和b。最后，讨论了SVM的预测流程，强调了核函数在解决非线性问题中的关键作用。
引言
在上一节我们介绍了支持向量机svm解决非线性相关的问题。如何利用已知的K和未知的ψ去解决优化问题是关键。在这一节将针对原问题原对偶问题进行学习。
优化理论
原问题（Prime Problem）
最小化：f （ω）
限制条件：① gi（ω）<=0 ( i=1~K )；② hi（ω）=0 （ i=1~M ）
原问题是一个非常普适（general）的定义。
首先，最小化中 ω 是自变量，同时也是向量，待优化参数的自变量。f 是其函数。对于最小化的 f（ω），有最大化的 - f (ω）。
而在限制条件中，分别有K个不等式与M个不等式。对于①式左右两边同时添加负号变为大于等于；对于②式可以变形为 hi(ω) -c =0
综上，原问题具有普适性。
对偶问题(Dural Problem)
定义
L（ω，α，β）
在这个函数中存在三个变量，变量ω是已知的，与原问题中一致。而变量α，β的维度与原问题限制条件保持一致，因此为K维与M维。
对偶问题的定义
最大化：
限制条件： αi >=0 (i=1~K)
最大化中的函数 L 在前面已经定义。inf 称为求最小值，也就是求得后面括号中 L 的最小值。它在固定了α，β的情况下&
最低0.47元/天 解锁文章
扫一扫
1758
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
