最小乘法、牛顿法、拟牛顿法、梯度下降法、梯度上升法和共轭梯度法的Python实现

最小乘法、牛顿法、拟牛顿法、梯度下降法、梯度上升法和共轭梯度法的Python实现

在数值优化中，最小化一个函数是一个常见的问题。为了解决这个问题，有许多经典的优化算法可供选择。本文将介绍最小乘法、牛顿法、拟牛顿法、梯度下降法、梯度上升法和共轭梯度法，并提供它们的Python实现。

1. 最小乘法（Method of Least Squares）
   最小乘法是一种用于拟合数据的优化方法。它通过最小化残差的平方和来找到最佳拟合曲线。下面是一个使用最小乘法的示例代码：

import numpy as np

def least_squares(x, y):
    A = np.vstack(