BFGS算法

BFGS算法是一种常用的非线性优化算法，用于求解无约束优化问题。它基于黄金分割线搜索和拟牛顿法的思想，通过不断迭代来寻找函数的最小值点。

BFGS算法通过构建一个Hessian矩阵的逆矩阵来求解最优解，这个逆矩阵的计算是通过不断迭代更新得到的。具体来说，BFGS算法使用一个对称的。正定的初始矩阵，然后通过迭代来更新矩阵，使其逼近Hessian矩阵的逆矩阵。

BFGS算法的步骤如下：

① 初始化：选定一个初始点和一个正定对称矩阵，设k = 0

② 计算搜索方向：计算搜索方向，其中是函数f(x)在点xk的梯度。

③ 进行线性搜索：沿着搜索方向pk进行线性搜索，找到满足一定条件的步长，使得函数值满足要求。

④ 更新x：

⑤ 计算梯度：计算梯度差

⑥ 判断是否收敛：如果梯度的范数小于给定的阙值，即，则停止迭代，输出作为最优解。

⑦ 更新B矩阵：根据BFGS公式更新矩阵

⑧ 更新迭代次数k：令k = k + 1，返回步骤②。

BFGS算法的优点在于，它不需要计算Hessian矩阵，而是通过更新B矩阵来近似Hessian矩阵的逆，从而减少了计算量。此外，BFGS算法的收敛速度比梯度下降算法快，并且在一位高维问题中表现出较好的性能。

案例：

① 使用BFGS算法求解无约束优化问题：

import numpy as np
from scipy.optimize import minimize

def rosen(x):
    """Rosenbrock函数"""
    return np.sum(100.0 * (x[1:] - x[:-1] ** 2) ** 2 + (1 - x[:-1]) ** 2)

def rosen_grad(x):
    """Rosenbrock函数的梯度"""
    grad = np.zeros_like(x)
    grad[0] = -400 * x[0] * (x[1] - x[0] ** 2) - 2 * (1 - x[0])
    grad[-1] = 200 * (x[-1] - x[-2] ** 2)
    grad[1:-1] = -400 * x[1:-1] * (x[2:] - x[1:-1] ** 2) + \
                 2 * (x[1:-1] - x[:-2])
    return grad

# 初始点
x0 = np.array([1.2, 1.2, 1.2, 1.2])

# 使用BFGS算法求解最小值点
res = minimize(rosen, x0, method='BFGS', jac=rosen_grad, options={'disp': True})
print(res.x)

② 使用BFGS算法求解线性回归问题：

import numpy as np
from scipy.optimize import minimize

# 线性回归问题的数据
X = np.array([[1, 1], [1, 2], [1, 3], [1, 4]])
y = np.array([2, 3, 4, 5])

# 定义线性回归模型
def linear_regression(theta, X=X, y=y):
    return np.sum((np.dot(X, theta) - y) ** 2) / (2 * len(y))

# 定义线性回归模型的梯度
def linear_regression_grad(theta, X=X, y=y):
    return np.dot(X.T, np.dot(X, theta) - y) / len(y)

# 初始点
theta0 = np.array([0, 0])

# 使用BFGS算法求解最小值点
res = minimize(linear_regression, theta0, method='BFGS', jac=linear_regression_grad, options={'disp': True})
print(res.x)

③ 使用BFGS算法进行函数最小化：

import numpy as np
from scipy.optimize import minimize
import matplotlib.pyplot as plt

# 待最小化的函数
def f(x):
    return x ** 2 + 10 * np.sin(x)

# 初始点
x0 = 0

# 使用BFGS算法求解最小值点
res = minimize(f, x0, method='BFGS', options={'disp': True})

# 可视化函数和最小值点
x = np.linspace(-10, 10, 1000)
y = f(x)
xmin = res.x
ymin = f(xmin)
plt.plot(x, y)
plt.plot(xmin, ymin, 'ro')
plt.annotate('Minimum', xy=(xmin, ymin), xytext=(xmin + 1, ymin + 5),
             arrowprops=dict(facecolor='red', shrink=0.05))
plt.xlabel('x')
plt.ylabel('f(x)')
plt.title('BFGS Algorithm')
plt.show()