16、逻辑回归模型训练全解析：从梯度下降到在线学习

逻辑回归模型训练全解析：从梯度下降到在线学习

1. 梯度下降法训练逻辑回归模型

在逻辑回归中，我们的目标是找到最优的权重向量 ( w ) ，使得损失函数最小化。梯度下降法（也称为最速下降法）是一种通过一阶迭代优化来最小化目标函数的方法。

在每次迭代中，它沿着目标函数在当前点的负导数方向移动一步，移动的步长由学习率（也称为步长）决定。用数学公式表示为：

这里，左边的 ( w ) 是学习一步后的权重向量，右边的 ( w ) 是移动前的权重向量，( \eta ) 是学习率，( \Delta w ) 是一阶导数，即梯度。

下面我们逐步推导损失函数 ( J(w) ) 关于 ( w ) 的导数：
1. 首先计算 ( \frac{\partial z}{\partial w_j} ) （这里以第 ( j ) 个权重 ( w_j ) 为例，( z = w^T x ) ，为简化省略 ( (i) ) ）。
2. 然后计算样本损失 ( J(w) ) 的导数。
3. 最后计算 ( m ) 个样本的总损失。
4. 将其推广到 ( \Delta w ) 。
5. 结合前面的推导，权重更新公式为：在每次迭代中，权重 ( w ) 都会更新。
6. 经过大量迭代后，学习到的 ( w ) 和 ( b ) 可用于对新样本 ( x’ ) 进行分类，默认决策阈值为 0.5 ，但也可以根据具体情况调整。例如，在预测火灾发生时，为避免漏报，决策阈值可以设为 0.3 ；在预测产品成功率时，为避免误报，决策阈值可以设为 0.7 。

接下来，我们从头实现逻辑回归算法：