逻辑回归模型

一、模型构建的前提或假设

       第一个前提（基本假设）是数据服从伯努利分布，即每次只有两种结果，正的概率为p,负的概率为1-p。

       第二个前提（基本假设）是假设样本为正的概率是

                        

二、模型如何定义

该模型认为数据的分布服从逻辑斯蒂回归分布。

逻辑斯蒂回归模型学习时，对于给定的训练数据集T = (x1,y1), (x2,y2),...,(xn,yn), 其中，xi属于Rn, yi属于(0,1), 可以应用极大似然估计法来估计模型参数，从而得到逻辑斯蒂回归模型。

设：

                 

三、模型策略/损失函数

      为什么采用对数的极大似然函数作为其损失函数？

    逻辑回归也可以视为一个广义的线性模型，使用最广泛的代价函数-误差平方和函数，不可以作为逻辑函数的损失函数。

因为LR的假设函数的外层函数是Sigmoid函数，它是一个复杂的非线性函数，使得我们将逻辑回归的假设函数h(