Day5--Logistic Regression理论推导

逻辑回归

今天没有概念图和代码，只有一段话如下：

今天我深入研究了逻辑回归到底是什么，以及它背后的数学是什么。学习了如何计算代价函数，以及如何使用梯度下降法来将代价函数降低到最小。
由于时间关系，我将隔天发布信息图。如果有人在机器学习领域有一定经验，并愿意帮我编写代码文档，也了解github的Markdown语法，

下面是我自己整理的逻辑回归理论推导

逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）

构造预测函数h(x)

1) Logistic函数（或称为Sigmoid函数），函数形式为： 
 

下面左图是一个线性的决策边界，右图是非线性的决策边界。

对于线性边界的情况，边界形式如下： 

其中，训练数据为向量 
 
最佳参数 

构造预测函数为： 

 

函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

构造损失函数

Cost函数和J函数如下，它们是基于最大似然估计推导得到的。 

下面详细说明推导的过程：

（1）式综合起来可以写成：

取似然函数为：

对数似然函数为：

根据“最大似然估计”，求l(θ)取最大值时的θθ，定义损失函数J(θ)为

因为乘了一个负的系数-1/m，所以取最小值时的θ为要求的最佳参数。

所以最后目标变成取J(θ)最小值时的θ为最佳参数。 
与线性回归类似，利用梯度下降法更新θ 

 

逻辑回归的优缺点

优点： 
1）速度快，适合二分类问题 
2）简单易于理解，直接看到各个特征的权重 
3）能容易地更新模型吸收新的数据 
缺点： 
对数据和场景的适应能力有局限性，不如决策树算法适应性那么强