牛顿法、拟牛顿法及其与梯度下降法的区别

牛顿法（Newton’s Method）是一种用于求解优化问题的迭代算法，它利用函数的二阶导数信息来逼近函数的最小值。牛顿法的核心思想是通过二阶泰勒展开来逼近目标函数，从而得到迭代更新的方向和步长。

拟牛顿法（Quasi-Newton Methods）是一类基于牛顿法的优化算法，但在计算海森矩阵（Hessian Matrix）的逆矩阵时进行了逼近。由于计算海森矩阵的逆矩阵是非常耗时的，拟牛顿法通过近似逆矩阵的方式来简化计算，从而提高了算法的效率。

下面我们将逐一介绍牛顿法、拟牛顿法以及它们与梯度下降法的区别，并提供相应的源代码实例。

1. 牛顿法
   牛顿法使用函数的一阶和二阶导数信息来更新迭代方向和步长。对于目标函数 f(x)，牛顿法的迭代公式为：

x_{k+1} = x_k - (f''(x_k))^{-1} * f'(x_k)

其中，x_k 表示第 k 次迭代的参数值，f’(x_k) 和 f’'(x_k) 分别表示目标函数 f(x) 的一阶和二阶导数在 x_k 处的取值。

2. 拟牛顿法
   拟牛顿法是对牛顿法的改进，它通过逼近海森矩阵的逆矩阵来简化计算。具体来说，拟牛顿法使用一个称为拟海森矩阵（Quasi-Newton Matrix）的矩阵来近似海森矩阵的逆矩阵。拟牛顿法的迭代公式可以表示为：

x_{k+1} = x_k - B_k * f'(x_k)

其中，B_k 是拟海森矩阵，它满足以下条件：

B_{k+1} * (x_{k+1} - x_k) = f'(x