逻辑回归模型（logistic regression）

逻辑回归模型意义

逻辑回归是机器学习中做分类任务常用的方法，属于“广义的线性模型”，即：

考虑二分类任务，其输出标记y∈{0，1},而线性回归模型产生的预测值 z = wx+b是实值，于是，需要将实值z转换为0/1值。最理想的是“单位阶跃函数”：

即若预测值z大于0就判断为正例，小于零则判断为反例，预测值为临界值零则可任意判断。但是阶跃函数不是连续的，不能直接作用于g-()，因此考虑用另一函数代替阶跃函数，即sigmoid函数：

对应的图像：

可以看到sigmoid有如下特性（y = g(z)，z=wx + b），当z>>0时，y->1，当z<<0时，y->0。这其实有着很强的实际意义（y就代表了该样本属于正例的概率），通过下张图更好理解：

这是一个有着二维属性的样本分类任务（图中h即上文y，w对应θ1、θ2，b用θ0替代），通过训练样本模型找到最好的[θ0,θ1,θ2]（对应代价函数的极值点），而(θ0+θ1x1+θx2 =0)就对应着图中的决策决策边界（decision boundry）

对于测试样本(x1,x2)来说，如果：

θ0+θ1x1+θ2x2(即z)>>0，说明其处于边界线上方，距离边界很远，是一个正例概率很大，因此y = sigmoid(z)->1

θ0+θ1x1+θ2x2(即z)<<0，说明其处于边界线下方，距离边界很远，它基本不可能是正例子，因此y = sigmoid(z)->0

θ0+θ1x1+θ2x2(即z)->0，说明其处于边界线附近，是不是正例模棱两可，因此y = sigmoid(z)->0.5（概率0.5）

逻辑回归模型求解参数（寻找θ）

逻辑回归的求解参数方式和一般优化问题没有什么不同，最基本的方式就是梯度下降法，只要写出其代价函数以及参数θ的梯度公式即可（推导过程可参见其它教材）：

值得注意的是逻辑回归的梯度更新公式与线性回归很像，但其实是有差别的，即hθ(x)的形式不同（逻辑回归为sigmoid函数）：