解释梯度下降的原理是什么？（面试题200合集，高频、关键）

什么是梯度下降？

梯度下降（Gradient Descent）是一种优化算法，广泛应用于机器学习和深度学习中，用来最小化损失函数。简单来说，它就像是你在山谷中寻找最低点的方法：你不知道整个山谷的地形，但可以通过脚下的坡度来决定下一步往哪里走，最终逐步到达谷底。

---

基本原理

想象你站在一个山坡上，目标是走到山谷的最低点。你可以感觉到脚下的坡度（即梯度），它告诉你哪个方向是最陡的下坡方向。梯度下降的做法是：

1. 起点：从一个随机的位置（参数的初始值）开始。
2. 计算坡度：在当前位置，计算梯度，确定下坡最陡的方向。
3. 迈出一步：沿着梯度的反方向（下坡方向）走一小步，这一步的大小由“学习率”控制。
4. 反复进行：重复计算梯度和迈步的过程，直到到达谷底（或接近谷底）。

---

数学表达

假设我们要优化的损失函数是