对数几率回归(逻辑斯蒂回归)

对数几率回归(逻辑斯蒂回归)

@(机器学习经典算法总结)

---

逻辑回归基本是我们所有人学习的第一个分类器，分类器从概率意义上理解，代表的是什么意思，以最简单的二分类来举例吧，假设样本数据

$$D=(x^{(i)},y^{(i)}),\ i\ for\ 1,2,3,...\\ y^{(i)}\in(-1,+1)$$
那么我们对于新的数据 $x^{(j)}$肯定是要得到 $P(y=-1\ |\ x^{(j)})以及P(y=+1\ |\ x^{(j)})$
哪个概率大，那么我们就采用该类别。
分类器所得到也即是 $P(c\ |\ x)$

生成式模型和判别式模型

目前分类模型根绝获取$P(c\ |\ x)$的方式不同，分为生成时模型（generative models）和判别式模型（discriminative models）
从CMU的教材来看

从上图可看出，当使用生成式分类器时，我们依靠所有的点来学习生成模型。当使用判别式分类器时，我们主要关心决策边界。
那么这两种模型从概率角度怎么解释呢？
- 判别式模型：给定$x$，通过直接建模$P(c\ |\ x)$来预测$c$，常见模型为决策树，BP神经网络，SVM，当然还包括本节的LR；
- 生成式模型：通过联合概率求解$P(c\ |\ x)=\frac{P(x,c)}{P(x)}$，通过贝叶斯定理，可知$P(c\ |\ x)=\frac{P(c)\ P(x\ |\ c)}{P(x)}$，目前我了解的经典算法中，只有朴素贝叶斯；

---

LR模型表达式和损失函数

那至此，我们也明确了，既然LR是判别式模型，就需要定义决策边界了。
经常把线性回归和逻辑回归关联到一起，虽然一个是回归模型，一个是分类模型，但是二者却有着千丝万缕的联系。
我们定义决策边界，可以考虑利用一个超平面，将正负样本分隔开，超平面我们可以使用线性模型去拟合。
那么此时，我们所要求的条件概率就是$P(c\ |\ x,\omega),\omega表示线性回归的参数。$
如图所示
分离面的方程为$\vec{\omega}*\vec{x}=0$

$$\begin{cases} \omega*x>0 ,y=1\\ \omega*x<0,y=0 \end{cases}$$
使用sigmoid函数将线性回归>0的标记为正类，反之则负类。
那么

P(Y=1 | x,ω)=11+exp(−ω∗x)=exp(ω∗x)1+exp(ω∗x