Logistic 回归

逻辑回归，Logistic回归模型，是人们为两分类的应变量做的一个回归方程，概率取值在0～1之间的。首先到线性分类模型，不适用于分类模型。因为Linear Regression对分类模型有很多的不适用的特性。因此引入了可以应用到分类的Logistic Regression模型的方法。

       随着模型的发展，Logistic家族也逐渐人丁兴旺起来，除了最初的Logistic回归，还有配对Logistic模型，多酚类Logistic模型，随机效应的Logistic模型。

Lotistic模型的推导和使用见下图：

     考虑具有p个独立变量的向量x=(x1,x2,.....,xp)。设条件概率P(Y=1|x)=p 为观测量对某个事件发生的概率。逻辑回归的模型可以表示为：

        上式右侧形式的函数成为逻辑函数。下图给出了其函数图像。

其中。如果含有名义变量，将其变为dummy变量。一个具有k个取值的名义变量将其变为k-1个dummy变量。这样就可以得到

我们定义不发生的条件概率为：

那么发生和不发生的概率之比为：

            

这个比值被称为时间的发生比，简称odds。因为0<p<1，故odds>0。对odds取对数，即可得到线性函数。

Logistic回归就是学习到，使得整理的特征远大于0，负例的特征远小于0，强调在全部训练实例上达到这个目标。

多元逻辑回归与生成函数 http://blog.youkuaiyun.com/hxxiaopei/article/details/7622672