16、优化算法：无约束与约束优化方法详解

优化算法：无约束与约束优化方法详解

在优化问题中，我们常常需要寻找函数的局部最小值，这可能涉及一个或多个变量，并且这些变量可能受到约束。本文将介绍无约束优化和约束优化的相关方法，包括秩一法、简单惩罚函数法、拉格朗日法和乘数惩罚函数法，并通过具体的例子和代码实现来详细说明这些方法的应用。

1. 无约束优化

1.1 秩一搜索法

秩一搜索法是一种用于寻找函数局部最小值的方法。通过一系列迭代，当偏导数为零（精确到小数点后5位）时，迭代终止。以下是使用线性方程求解器进行秩一搜索以寻找函数 $P(x, y)$ 最小值的结果：

迭代次数	x	y	P(x, y)	∂P/∂x	∂P/∂y
1	0.25000	1.00000	2.34659	-0.15084	1.21704
2	0.58978	0.56283	2.02062	0.27868	0.21660
3	0.5040