本文详细介绍了支持向量机（SVM）的基本问题，拉格朗日函数的构建过程，以及求解SVM优化问题的KKT条件。首先，通过最小化正则化的核函数最大边界来定义SVM问题，然后通过拉格朗日乘子法将原问题转化为对偶问题。接着，分析了拉格朗日函数的KKT条件，包括对参数的梯度为0、乘子的非负性以及互补松弛条件。最后，根据KKT条件，得出不同情况下α的取值及其对应的条件，为SVM的求解提供了理论基础。
SVM kkt
SVM
提示：以下是本篇文章正文内容，下面案例可供参考
一、SVM问题
min 1 2 ∥ w ∥ 2 s . t . y i ( w T x i + b ≥ 1 ) \begin{array}{l} \min \frac{1}{2}\|w\|^2\\ s.t.~~~ y_i(w^Tx_i+b\geq 1) \end{array} min21∥w∥2s.t. yi(wTxi+b≥1)
二、Lagrange function
**step 1.**约束罚上去
L : ( w , b , α ) = 1 2 ∥ w ∥ 2 − ∑ i = 1 n α i ( y i ( w T x i + b ) − 1 ) ) L:(w,b,\alpha)=\frac{1}{2}\|w\|^2-\sum^{n}_{i=1}\alpha_i(y_i(w^Tx_i+b)-1)) L:(w,b,α)=21∥w∥2−i=1∑nαi(yi(wTxi+b)−1))
step 2. 分别对w,b求偏导得0
L w ( w , b , α ) = w − ∑ α i y i x i = 0 ; L b ( w , b , α ) = − ∑ α i y i = 0 ; \begin{array}{l} L_w(w,b,\alpha)=w-\sum\alpha_iy_ix_i=0;\\ L_b(w,b,\alpha)=-\sum\alpha_iy_i=0; \end{array} Lw(w,b,α)=w−∑αiyixi=0;Lb(w,b,α)=−∑αiyi=0;
由上可得
w i = ∑ α i y i x i ; ∑ α i y i = 0 ; \begin{array}{l} w_i=\sum\alpha_iy_ix_i;\\ \sum\alpha_iy_i=0; \end{array} wi=∑αiyixi;∑αiyi=0;
setp 3 将上面两式代入 L ( w , b , α ) L(w,b,\alpha) L(w,b,α)得
L ( w , b , α ) = − 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i T x j ) + ∑ i = 1 n α i ; L(w,b,\alpha)=-\frac{1}{2}\sum^n_{i=1}\sum^n_{j=1}\alpha_i\alpha_jy_iy_j(x_i^Tx_j)+\sum^n_{i=1}\alpha_i; L(w,b,α)=−21i=1∑nj=1∑nαiαjyiyj(xiTxj)+
最低0.47元/天 解锁文章
扫一扫
568
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
