C_SVC推导
1. 模型假设
假设现在有训练数据X,是
现在考虑二分类问题,样本的标签为y⃗ ,是m∗1的向量。
目的,找到一个最优的相关面,以方程w⃗ ∗x⃗ +b=0表示,其中w⃗ 是一个n∗1维向量,按照线性代数的记号,记为:
wTx+b=0
|wTx(i)+b|为第i个点到分离面的距离,
为了归一化表示,因为w和
几何间隔的最小值为
γ=minwγ(i)
2. 优化问题
任务为,找到最优的w使得最下的几何间隔最大:
等价于
maxwγ^||w|| s.t.y(i)(wT||w||x(i)+b||w||)>=γ||w||
即
令γ^=1且最大化1||w||等价于最小化12||w||2
最终,优化问题化为:
minw12||w||2 s.t.y(i)(wTx(i)+b)>=1
3. 软间隔
样本有可能不会完全能硬性区分,存在噪点,在正负样本之间相互渗透,要允许软性区分。利用正则化,放松一个点到分离面的距离的约束,即函数间隔γ^=y(i)(wTx(i)+b)>=1−ξ(i),但是每放松一个ξ(i)就要支付一个代价Cξ(i),则优化函数变成
minw12||w||2+C∑mi=1ξ(i) s.t.y(i)(wTx(i)+b)>=1−ξ(i) ξ(i)>=0
4. 拉格朗日对偶和KKT条件
4.1 导出对偶形式
假设有如下问题
minwf(w) s.t.gi(w)<=0 hi(w)=0
有一组α>=0,β>=0,组成拉格朗日函数形式
L(w,α,β)=f(w)+∑mi=1αigi(w)+∑mi=1βihi(w)
在满足原问题的约束条件下,有
f(w)=maxα,βL(w,α,β)
原问题化为
minwmaxα,βL(w,α,β)
注意w和
考虑对偶问题minwL(w,α,β)<=L(w,α,β)
而原等价问题中maxα,βL(w,α,β)>=L(w,α,β)
得
d∗=maxα,βminwL(w,α,β)<=minwmaxα,βL(w,α,β)=p∗
即对偶问题恒小于等于原问题
可以看出,在某些条件下是可以取等号的
4.2 kkt的必要性证明
假设现在有最优解使得d∗=p∗,(w=w∗,α=α∗,β=β∗),拉格朗日函数恒为凸函数,即最优解定在原空间导数为零的位置取得。
有:
则不等式取等号,由倒数第二行有:
对偶互补条件是由于gi(w∗)<=0且αi>=0且∑α∗igi(w∗)=0,由于每一项都小于等于0,要取得和等于零,只能是每一项都等于0.
4.3 kkt的充分性证明
假设现在有(w=w∗,α=α∗,β=β∗)满足kkt条件:
有:
那么,d∗=maxα,βminwL(w,α,β)=maxα,βf(w∗)=minwf(w)=p∗
5.软间隔的对偶表达
含有软间隔的问题为:
minw12||w||2+C∑mi=1ξ(i) s.t.y(i)(wTx(i)+b)>=1−ξ(i) ξ(i)>=0
拉个朗日函数:
求kkt条件:
∇wL(w,ξ,α,β)=w−∑mi=1α(i)y(i)x(i)=0
∇bL(w,ξ,α,β)=−∑mi=1α(i)y(i)=0
∇ξL(w,ξ(i),α,β)=C−α(i)−μ(i)=0
α(i)(1−ξ(i)−y(i)(wTx(i)+b))=0
μ(i)>=0
α(i)>=0
以上的拉个朗日均不显示的写出b,带入拉格朗日函数得:
优化问题就变成了:
minα12∑mi=0∑mj=0α(i)α(j)y(i)y(j)x(i)Tx(j)−∑mi=1α(i) s.t.0<=α(i)<=C ∑mi=1α(i)y(i)=0
上面的kkt条件中,g(w)=1−ξ(i)−y(i)(wTx(i)+b),表示点到分离面的最大函数间隔
由对偶互补条件α(i)g(i)(w)=0,如果α(i)>0则g(i)(w)=0,那么α(i)对应的点是支撑向量,应当保留下来。当α=0时,则是否为支撑向量均已无意义,在求和中不影响,所以不必记录。
6. 核函数
核函数即选择函数K(x,y)=ϕ(x)Tϕ(y),其中ϕ(x)为从n维空间到另一个空间的映射,核函数表示映射后的点积。核函数的引入是为了解决非线性分割的问题,径向基核如高斯核用泰勒展开理论上可以映射到无限维上去。
将核函数带入上面的待优化方程中,写为:
7 经典SMO算法
将待优化的函数视为一个二元函数,假设现在要优化α(1)和α(2),为了方便α均用下标,可以写为:
将α1=y1(ζ−α2y2)带入,注意yi∗yi=1
得 :
ψ(α2)=12(ζ−y2α2)2K11+12α22K22+(ζ−y2α2)α2y2K12 −(y1ζ−y1y2α2+α2)+(ζ−α2y2)v1+α2y2v2
求导得:
∂ψ∂α2=(K11+K22−2K12)α−ζy2K11+ζy2K12+y1y2−1−y2v1+y2v2=0
这里的α2即是优化后的α2,记为αnew2
此时依照kkt条件,可以得出决策函数为f(x)=∑mi=1αiyiK(xi,x)+b
可得:
v1=f(x1)−α1y1K11−α2y2K12−b v2=f(x2)−α1y1K12−α2y2K22−b
定义Ei=f(xi)−yi则
E1=f(x1)−y1
E2=f(x2)−y2
带入∂ψ∂α2
最后得:
αnew2=αold2+y2(E1−E2)K11+K22−2K22
检查约束条件,当y1=y2,有α1+α2=k,k=±ζ,
令α1=0上截距H=min(C,α1+α2)
令α1=C下截距L=max(0,α1+α2−C)
当y1≠y2有α1−α2=k,k=±ζ
令α1=0上截距H=min(C,C+α2−α1)
令α1=C下截距L=max(0,α2−α1)
此时对α2进行截取
截取后得
由y1αnew1+y2αnew2=y1αold1+y2αold2=ζ
得αnew1=αold1+y1y2(αold2−αnew2)
更新完α1和α2之后,则需要更新b,由于在原问题中,当
因此有yi(f(x))=1,即yj(∑mi=1αiyiK(xi,xj)+b)=1
若j=1
b=bnew1=y1−∑mi=3yiαiKi1−α1y1K11−α2y2K12
将E1=∑mi=3αiyiKi1+αold1y1K11+αold2y2K12+bold−y1带入上式,得
b=bnew1=−E1−y1(αnew1−αold1)K11−y2(αnew2−αold2)K12+bold
若j=2
b=bnew2=y2−∑mi=3αiKi2−α1K12−α2K22得
b=bnew2=−E2−y1(αnew1−αold1)K12−y2(αnew2−αold2)K22+bold
若同时满足约束,则上面两式子相等,将α1和α2带入即可得
若都不满足约束,即都在边界上取得,Patt的原文说在b1和b2之间的数都满足kkt条件,故取bnew1+bnew22,因为当
αi=0有kkt条件yj(∑mi=1αiyiK(xi,xj)+b)>=1==>yjEj>=0
αi=C有kkt条件yj(∑mi=1αiyiK(xi,xj)+b)<=1==>yjEj<=0,也可以用函数间隔来理解,当αi=0时远离分离面,函数间隔大于等于1,当等于C的时候超过了分离面,函数间隔必然小于等于1.
证明方法,将αnew1和αnew2分别以αold1−λy1E1−E2η和αold2+λy2E1−E2η替代。λ∈[0,1)表示剪辑后的系数,带入bnew=tbnew1+(1−t)bnew2中,再联立b1,b2的公式和更新E的公式得:
然后将α1、α2和y1、y2的各种情况代入讨论,最后都是满足KKT条件的