九筠的博客

Adam（Adaptive Moment Estimation）是一种优化算法，广泛应用于神经网络的训练过程中。它结合了自适应学习率和动量的概念，旨在提高梯度下降算法的效率和收敛速度。Adam算法的核心思想是根据历史梯度的一阶矩估计（均值）和二阶矩估计（方差）自适应地调整学习率。具体来说，Adam算法会计算每个模型参数的梯度的指数移动平均值和指数移动平均值的平方根，然后使用这些平均值来调整每个参数的学习率。这样可以让学习率在训练过程中自适应地适应不同参数的梯度变化情况，从而提高训练的效果。

相比于批量梯度下降（BGD）和随机梯度下降（SGD），小批量梯度下降综合了两者的优点，既在计算效率上比BGD更高，又比SGD更稳定，能够获得较为准确的梯度信息。总结来说，梯度下降算法的几何解释是，在目标函数的等高线中，沿着梯度的反方向移动参数，通过不断迭代更新参数的路径，最终达到目标函数的最小值。为了克服SGD的问题，可以使用小批量梯度下降（Mini-Batch Gradient Descent），它是将一小批样本的梯度作为参数更新的依据，既兼顾了计算效率，又减小了参数更新的方差。

逻辑回归（Logistic regression）模型是一种用于二分类问题的统计模型。它基于线性回归模型的基本思想，通过使用逻辑函数（如sigmoid函数）将输出值限制在0和1之间，将线性函数的输出转换为概率值，如下图。逻辑回归模型的输出可以理解为样本属于某个类别的概率。逻辑回归的目标是找到最佳的参数值，使得模型的预测结果与实际标签尽可能接近。为了达到这个目标，逻辑回归使用了最大似然估计方法来估计参数。最大似然估计的基本思想是选择使观测数据出现的概率最大的参数值。

通过最小化损失函数，可以找到最优的线性回归模型参数，使得预测值与实际值的差异最小化。在训练过程中，优化算法会根据损失函数的值来调整模型参数，持续优化模型的性能。需要注意的是，选择合适的损失函数与问题的性质和目标密切相关。有些问题可能更关注预测值的准确性，因此采用均方误差等平方型损失函数更为合适；有些问题可能更关注预测值的相对差异，因此采用绝对误差等绝对型损失函数更为合适。