三维函数 梯度下降法
其图像及等高线如下(等高线中心的蓝点表示最小值):
设初始点为,此时梯度为:
令步长,那么下一个点为:
可以看到向最小值方向前进了一步:
设初始点为 ,此时梯度为
令步长,那么下一个点为:
迭代 同样的方法找到下一个点:
此时又向最小值靠近了:
如此迭代20次后,差不多找到了最小值:
三维函数 梯度下降法
其图像及等高线如下(等高线中心的蓝点表示最小值):
设初始点为,此时梯度为:
令步长,那么下一个点为:
可以看到向最小值方向前进了一步:
设初始点为 ,此时梯度为
令步长,那么下一个点为:
迭代 同样的方法找到下一个点:
此时又向最小值靠近了:
如此迭代20次后,差不多找到了最小值: