深度学习理论——logistic回归算法

大家好，继续理论学习日记，今天介绍很基础的logistic回归的公式推导，很多书上只是写了公式，并没有推导过程，我这次全都写出来了，还加了注释，希望对大家有帮助。

首先介绍一下logistic回归算法的思路：

1.首先构造或选取一个预测函数，比如Sigmod，RELU这种，用来进行最后的分类。（即下文中h函数）

2.构造一个代价函数（或称为损失函数）来表示输出和真实值之间的损失值（即下文中l函数）

3.我们希望l值越小越好，根据这一优化需求来寻找最优的回归系数θ（具体方法为l对θ求偏导，得到偏导数后使用梯度下降法来得到最优的回归系数）

下图是公式的手推过程，还有一些我的注释：

至于为什么h函数可以作为对y取值概率的预测，其实质是将y这个预测看做了类后验概率估计，我的理解是大家可以看一下Sigmod函数的图像，这就是它图像的几何意义吧我感觉。

大概就是这样，有不清楚的地方可以留言问我，我们下期见！