逻辑回归（Logistic Regression）和SVM的联系以及Kernel

逻辑回归和SVM都是比较理想的分类器，但是各有优缺点，逻辑回归不仅可以得到具体的分类类别，还可以得到连续的概率值（因为逻辑回归实质上是回归）；SVM则可以利用kernel将特征投影到高维甚至无穷维来更好地拟合数据。这里我们来看一下逻辑回归和SVM之间有没有什么联系，以及能否将kernel应用到逻辑回归上，使得逻辑回归具备类似SVM的非线性分类特性。

逻辑回归

逻辑回归的假设是下面的一条S型曲线，值域是[0,1]，可以用来近似表示概率值：

$$h(x)=\frac{1}{1+exp(-w^Tx)}$$
如果把h(x)看成是x属于正类的概率值的话，那么可以写成下面的形式：
$$h(x)=P(+1|x) \Longrightarrow P(y|x)= \left\{ \begin{aligned} h(x); if y=+1 \\ 1-h(x);if y=-1 \end{aligned} \right.$$
根据h(x)这个函数特性，它关于点（0,0.5）对称，因此1-h(x)=h(-x)，上面的式子可以归纳成：
$$P(y|x) =h(yx)=\frac{1}{1+exp(-yw^Tx)}$$
于是可以得出似然函数，然后我们的目标就是最大化似然函数
$$likehood(h)\propto \prod_{i=1}^N h(y_ix_i)$$

target:maxw(ln∏i=1Nh(yixi))⟹target:minw−1N