机器学习之逻辑回归（Logistic Regression）

　　转载请注明出处：http://www.cnblogs.com/Peyton-Li/

　　逻辑回归名字听起来像是做处理回归问题的，其实不然，逻辑回归是分类模型，可以被看作是一个非常小的神经网络。

　　二项逻辑回归模型是如下的条件概率分布：

　　　　

　　　　

　　这里，是输入，是输出， 和是参数，称为权值向量，称为偏置，为和的内积。

　　对于给定的输入实例，按照上面两式可以求得和，逻辑回归模型比较两个条件概率值的大小，将实例分到概率值较大的那一类。

有时为了方便，将权值向量和输入向量加以扩充，仍记作，，即

　　　　

这时，逻辑回归模型如下：

　　　　

　　　　

　　我们一般使用极大似然估计法估计模型参数，

　　似然函数为：

　　　　

对数似然函数为：

　　　　

　　　　　　　　

　　　　　　　　

对求最大值，得到的估计值。

　　逻辑回归学习中，通常采用的方法是梯度下降法和拟牛顿法。

　　假设的极大似然估计值是，那么学到的逻辑回归模型为：

　　　　

　　　　

　　假设离散型随机变量Y的取值集合为，那么多项逻辑回归模型是：

　　　　

　　　　

这里，

转载于:https://www.cnblogs.com/Peyton-Li/p/7538234.html