csy463168656的专栏

拉格朗日对偶因为下一讲要用到这方面的知识，所以先在这里学习下，它其实就是我们本科阶段所学的拉格朗日乘数法：以上来自百度百科。只不过在这里我们是多维的。首先我们的优化问题如下：

最近在看机器学习，感觉有点朦胧，于是写下这些知识点，在自己忘记的时候能够翻出来看看。我是以stanford的cs229的讲义为蓝本的，上面有些洋文我感觉翻译出来就失去了原有的味道，（主要是我不会翻译）。首先我们可以回顾下logistic regression ，对于给定输入x，需要预测输出，为此我们选择了，其实它的原型就是一个sigmoid function, ，然后通过梯度下降法估计出θ的值

上一讲主要是关于优化的问题，这一讲就正式开始SVM之旅了，首先看下图：至此，如果我们找到alpha，为了进行预测，我们只需要就算x和对应的训练样本的内积就可以了，而前面已经证明了那些不是支持向量对应的alpha是0，所以我们真正需要计算的是那些支持向量的内积。到目前为止SVM还只能处理线性的情况，在下一讲通过kernel的讲解后就可以推广到非线性的情况了。

最后的最后多说一句关于上面的特征映射到维的特征空间，其实如果给的那个例子用它来算应该是10维，而作者写出了13维，多的那三维是作者把，这对于最后的结果没有影响，因为我们可以认为上面作者没有合并同类项，如果写成10维，那就是合并同类项之后的结果。

到目前为止，SVM为描述为在低维，或者映射到高维后线性可分，然而对于有一些outliers的情况，我们所得到的超平面就不一定是最好的，就像下图中的一样，这个outliers明显影响了超平面的划分：为了让这个算法，对outliers变得不那么敏感，我们对优化问题加入了regularization：和之前的结果比较，发现唯一的不同是alpha多了一个上限C，这样一个可以容忍ou