逻辑回归(logistic regression)推导

逻辑回归是一种分类模型，通过监督学习方法来估计参数。

一、逻辑回归模型：

    逻辑回归模型是如下条件概率分布：

    一个事件的几率指的是该事件发生与不发生概率的比值，即，对数几率是：。

    对逻辑回归模型而言，对数几率是：

二、逻辑回归的推导及参数估计

    逻辑回归使用极大似然法来估计模型参数(似然函数越大，代表联合概率分布发生越大，即越满足给定数据集的分布情况)。

    设：

    则似然函数为：,

    对数似然函数：（这也是逻辑回归常用的损失函数定义式）

                                     

                                     

    对L(w)求极大值，得到w的估计值。

    下面问题就变为以对数似然函数为目标函数的最优化问题，可以采用梯度下降法、拟牛顿法等。

    参考书籍：统计学习方法