优化方法之最速下降法（采用解析法求解步长+直接采用一阶导求解下降方向+python 代码实现（可直接拿走使用））

最速下降法是我们在求解优化问题时经常使用的方法，它的核心思想在于步长以及方向向量的选择和求解。最速下降法要求我们在每一步都尽可能下降最大的函数值。它的核心算法步骤可见下：

其中，在确定方向向量后，我们需要求解该方向上的最优步长，以使步长下降最多。步长的求解主要有以下两种方法：

这里，我们选择解析法求解最佳步长。它的核心思想在方法二中已有体现。步长选取过大或者过小都是不利于函数下降的。以下是几幅比较直观的图。

我们这里对以下函数使用最速下降法求解其最优值。

这里就依据前述算法编写代码如下：

# 这个程序实现最速下降法的实现和测试，所谓最速下降法，是指我们是指应该在某一点沿着当前点下降最大的函数点前进，这里注意需要寻找最优
#步长和下降方向，我们可以直接求得方向导数。以导数的负数即可（这里有什么规范化和不规范化，其实问题本质都一样)在确定方向后，需要求解
#最优步长，以使函数下降最快。步长过大或者过小都不能达到我们的要求。

from sympy import*
import math
from matplotlib import pyplot as plt
import numpy as np

def Obj(x1,x2):
    value=x1-x2+2*math.pow(x1,2)+2*x1*x2+math.pow(x2,2)
    return value
def Jac_x1(x1,x2):
    value=1+4*x1+2*x2
    return value
def Jac_x2(x1,x2):
    value=-1+2*x1+2*x2
    return value

def Error(x1,x2):
    value=math.sqrt(math.pow(x1,