梯度类算法

一. 梯度下降算法

通过计算损失函数关于模型参数的梯度，然后沿着梯度的反方向（即最陡峭的下降方向）更新参数。这样，每次迭代都会使损失函数值减小，从而逐渐接近损失函数的最小值。

具体来说，梯度下降算法的步骤通常如下：

初始化参数：随机初始化模型的参数（例如权重和偏置）。

计算梯度：使用当前参数计算损失函数关于这些参数的梯度。梯度是一个向量，指示了损失函数在每个参数上的局部变化率。

更新参数：将每个参数沿着梯度的反方向移动一小步，步长由学习率控制。学习率是一个超参数，决定了参数更新的幅度。

重复迭代：重复步骤2和3，直到满足某个停止条件（例如达到最大迭代次数、损失函数值足够小或梯度足够小）。

二. 常见梯度下降算法

1. 随机梯度下降

在每次迭代中只使用一个样本来计算梯度并更新参数。这种方法计算量小，收敛速度快，但可能会引入噪声，导致在最小值附近震荡。

2. 批量梯度下降

在每次迭代中使用整个数据集来计算梯度并更新参数。这种方法计算量大，但通常能保证收敛到全局最小值（对于凸损失函数）

3. 小批量梯度下降

小批量梯度下降是批量梯度下降和随机梯度下降的结合，每次迭代使用一个小批量的样本来计算梯度，并更新模型参数。这种方法在计算效率和收敛稳定性之间取得了平衡，是实际应用中最常用的梯度下降算法之一。

三. 动量（Momentum）方法

每一时间步上梯度调整的步长（step-size）。当接近最优值时梯度会比较小，由于学习率固定，普通的梯度下降法的收敛速度会变慢，有时甚至陷入局部最优。这时如果考虑历史梯度，将会引导参数朝着最优值更快收敛，这就是动量算法的基本思想。

四. AdaGrad方法

Adagrad（Adaptive Gradient Algorithm）是一种自适应学习率的优化算法，它通过将学习率分别应用于每个参数的梯度的平方来调整学习率，从而使得稀疏梯度的参数得到更大的更新，稠密梯度的参数得到较小的更新。Adagrad算法通常用于处理稀疏数据集和非凸优化问题。

五. Adam方法

Adam（Adaptive Moment Estimation）是一种自适应学习率的优化算法，结合了动量梯度下降和自适应学习率的优点。它通过计算梯度的一阶矩估计和二阶矩估计来自适应地调整学习率，从而在不同维度上具有不同的学习率。Adam算法在实践中表现良好，被广泛应用于深度学习中。