什么是梯度下降？它在神经网络训练中的作用是什么？（面试题200合集，高频、关键）

什么是梯度下降？

梯度下降（Gradient Descent）是一种优化算法，用于寻找函数的最小值。它通过迭代地调整参数，使得目标函数（通常是损失函数）逐步减小，直至收敛到局部或全局最小值。在机器学习和深度学习中，梯度下降是训练模型的核心技术之一。简单来说，它就像是在一个山谷中寻找最低点，通过计算坡度的方向（梯度），然后朝相反方向迈步以降低高度（损失）。

---

梯度下降在神经网络训练中的作用

在神经网络训练中，梯度下降用于调整网络的权重和偏置，以最小化损失函数（Loss Function），从而提高模型的预测准确性。损失函数衡量了网络的预测输出与实际目标值之间的差异，例如均方误差或交叉熵。梯度下降通过不断优化参数，减小这一差异，使模型能够更好地学习数据中的模式和特征。

工作原理

梯度下降的核心思想是利用损失函数的梯度（即偏导数）来指导参数调整，具体步骤如下：

1. 计算梯度：
   通过反向传播算法（Backpropagation），计算损失函数对每个权重的梯度。梯度 <