22、线性与逻辑回归：原理、实现与评估

线性与逻辑回归：原理、实现与评估

1. 梯度下降优化

在机器学习中，梯度下降是一种常用的优化算法，但它可能存在收敛速度慢等问题。为了解决这些问题，我们可以进行收敛实验，通过改变学习率 $\alpha$ 的值（通常在 0.1 到 $10^5$ 之间），观察损失函数随迭代次数的变化。此外，还可以使用自适应学习率，根据迭代次数动态调整学习率，常见的优化器有 Momentum、RMSProp、Adam 和 NAdam。

1.1 Momentum 优化器

Qian 在 1999 年发现，当损失曲面是一个狭长的山谷时，梯度下降的轨迹会在山谷的两侧振荡，导致收敛速度非常缓慢。为了解决这个问题，他提出了 Momentum 优化器，通过引入动量项来消除振荡，使下降过程更加直接。

动量项表示过去梯度的累积，新的更新项为：
$\Delta_k = \rho\Delta_{k - 1} + \alpha\nabla_wL(w_k)$，其中 $k > 0$，$\rho$ 是动量参数，通常取值为 0.9。初始化时，$\Delta_0 = \alpha\nabla_wL(w_0)$。

动量更新规则为：$w_{k + 1} = w_k - \Delta_k$。

1.2 RMSProp 优化器

RMSProp 优化器从梯度下降的更新规则出发，对损失函数进行优化。它将学习率 $\alpha$ 除以梯度平方的移动平均值，以调整学习率的大小。

梯度平方的移动平均值 $m_{s_k}$ 计算公式为：$m_{s_k} = \rho m_{s_{k - 1}} + (1 - \rho)\nabla L(