Python综合实例——梯度下降法求函数的最小值

        应用Python编程实现梯度下降法求解下面函数的最小值，并使用Matplotlib、mpl_toolkits库画出数据的图像。

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
import numpy as np


# 定义目标函数 Fun(x, y)，用于绘图和后续的计算
def Fun(x, y):
    return x - y + 2 * x * x + 2 * x * y + y * y


# 定义目标函数 Fun(x, y) 对 x 的偏导数
def PxFun(x, y):
    return 1 + 4 * x + 2 * y


# 定义目标函数 Fun(x, y) 对 y 的偏导数
def PyFun(x, y):
    return -1 + 2 * x + 2 * y


# 创建 3D 图形对象
fig = plt.figure()
ax = fig.add_subplot(111, projection='3d')

# 使用 mgrid 生成 x 和 y 的网格，范围 [-2, 2]，40x40 的网格
X, Y = np.mgrid[-2:2:40j, -2:2:40j]

# 计算目标函数在网格上的值 Z
Z = Fun(X, Y)

# 绘制 x-y 平面上的函数曲面图，使用彩虹色（rainbow）作为颜色映射
ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap="rainbow")

# 设置 x、y 和 z 轴的标签
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('z')

# 设置梯度下降的步长
step = 0.0008

# 初始化 x 和 y 的起始值
x = 0
y = 0

# 用于存储每次迭代后的 x, y, z 值
tag_x = [x]
tag_y = [y]
tag_z = [Fun(x, y)]

# 用于存储更新后的 x 和 y
new_x = x
new_y = y

# 初始化结束条件为 False
Over = False

# 梯度下降算法的循环，直到满足结束条件  求最小值
while Over == False:
    # 根据偏导数计算新的 x 和 y 值
    new_x -= step * PxFun(x, y)
    new_y -= step * PyFun(x, y)

    # 通过函数值的变化判断是否收敛（变化小于 7e-9）
    if Fun(x, y) - Fun(new_x, new_y) < 7e-9:
        Over = True

    # 更新 x 和 y 的值
    x = new_x
    y = new_y

    # 将新的 x, y, z 添加到轨迹中
    tag_x.append(x)
    tag_y.append(y)
    tag_z.append(Fun(x, y))


# 在曲面图上绘制梯度下降的路径
ax.plot(tag_x, tag_y, tag_z, 'r')

# 设置图形标题，显示最后的 (x, y) 值
plt.title('(x,y)~(' + str(x) + "," + str(y) + ')')

# 显示图形
plt.show()