三维函数 梯度下降法

其图像及等高线如下(等高线中心的蓝点表示最小值):

设初始点为
,此时梯度为:

令步长
,那么下一个点为:
可以看到向最小值方向前进了一步:

设初始点为
,此时梯度为

令步长
,那么下一个点为:

迭代 同样的方法找到下一个点:

此时又向最小值靠近了:
如此迭代20次后,差不多找到了最小值:

本文深入探讨了三维函数的梯度下降法,通过示例展示了如何从不同初始点开始,利用梯度信息和步长调整来逼近函数的最小值。通过迭代更新,逐步接近最优解的过程清晰可见。
三维函数 梯度下降法

其图像及等高线如下(等高线中心的蓝点表示最小值):

设初始点为
,此时梯度为:

令步长
,那么下一个点为:
可以看到向最小值方向前进了一步:

设初始点为
,此时梯度为

令步长
,那么下一个点为:

迭代 同样的方法找到下一个点:

此时又向最小值靠近了:
如此迭代20次后,差不多找到了最小值:


被折叠的 条评论
为什么被折叠?