Logistic Regression

Logistic Regression

在deeplearning.ai课程中介绍了logistic回归

logistic回归模型

logistic回归主要是用于二分类问题。

下图是sigmoid函数的图像

那么y_hat表示在给定x的情况下y=1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

将两者合并可得：

损失函数

损失函数又叫做误差函数，用来衡量算法的运行情况，Loss function:

我们通过这个L称为的损失函数，来衡量预测输出值和实际值有多接近。
根据课程中的讲解，损失函数如下：

损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何，为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对m个样本的损失函数求和然后除以m:

损失函数只适用于像这样的单个训练样本，而代价函数是参数的总代价，所以在训练逻辑回归模型时候，我们需要找到合适的w和b，来让代价函数 J的总代价降到最低。

实际上，损失函数和成本函数时基于最大似然估计推导得到的。
根据前面的概率公式：

对应的似然函数为：

对数似然函数为：

最大似然估计就是求l取最大时的参数值，为使用梯度下降法求解，课程中将成本函数取为下式：

梯度下降法（Gradient Descent）

在测试集上，通过最小化代价函数J(w,b)来训练参数w，b。
由于代价函数是一个凸函数，所以使用梯度下降法可以找到全局最优解。
通过下图的公式多次迭代，更新参数的值。

α表示学习率（learning rate），用来控制步长（step）。

整个梯度下降法的迭代过程就是不断地向左走，直至逼近最小值点。