“初学者”并不是不好好理解其中的数学的借口,终于下定决心好好理解SVM了,先从KKT条件开始。
A. 优化问题的分类
首先是要知道问题是定义在
Rn→R
,即
y=f(x→)
。
第一种优化问题是没有任何约束的,即求一个最优解
x0−→
使得对任意的
x→
,都有
f(x0−→)<=f(x→)
。这个一般用多元函数求极值的方法就可以解决了,即求
f(x→)
的导数,令其为0,求解出来即可(??是全导数还是偏导数,这个还得再看看)。
第二种是有等式约束的,即问题为:
min f(x→), s.t. hi(x→)=0,i=1,2,…,p
这种一般用拉格朗日乘子法来(Lagrange Multiplier)求解,即将问题转化成求解:
min F(x→), F(x→)=f(x→)+∑i=1phi(x→)
【先写一下自己对SVM的公式推导的理解】【未完待续】
L(ω→,b,α→)=12∥ω∥2−∑i=1nαi[yi(ω→Txi→+b)−1]=12ω→Tω→−∑i=1nαiyiω→Txi→−∑i=1nαiyib+∑i=1nαi=ω→T(12∑i=1nαiyixi→)−ω→T(∑i=1nαiyixi→)−b∑i=1nαiyi+∑i=1nαi=∑i=1nαi−ω→T(12∑i=1nαiyixi→)=∑i=1nαi−12(∑i=1nαiyixi→T)(∑i=1nαiyixi→)=∑i=1nαi−12∑i=1n∑j=1nαiαjyiyjxi→Txj→
Reference:
1. http://www.cnblogs.com/zhangchaoyang/articles/2726873.html
2. http://blog.youkuaiyun.com/xianlingmao/article/details/7919597
3. https://www.cs.cmu.edu/~ggordon/10725-F12/slides/16-kkt.pdf