29、优化方法：从单变量到多变量的探索

优化方法：从单变量到多变量的探索

在实际的数学和工程问题中，优化问题无处不在。无论是寻找函数的最大值或最小值，还是解决复杂的非线性约束问题，都需要有效的优化方法。本文将介绍几种常见的优化方法，包括线性规划、单变量函数优化、共轭梯度法以及Moller的缩放共轭梯度法，并通过具体的例子和代码展示它们的应用。

1. 线性规划问题的解与特性

在解决线性规划问题时，我们通常会遇到目标函数的最大化或最小化问题。以一个具体的例子来说，运行一段脚本后得到目标函数值为 -19.0000，但由于原问题是最大化目标函数，所以其实际值为 19。这个解体现了线性规划的一个重要定理：非零原始变量的数量最多等于独立约束的数量（不包括非负性约束）。在这个问题中，只有两个主要约束，因此只有两个非零变量 (x_1) 和 (x_3)，而松弛变量 (x_4) 和 (x_5) 以及 (x_2) 都为零。

另外， lsqnonneg 函数可以用于找到一个方程系统的解，其中解的所有分量都是非负的。这对应于系统的一个基本可行解，但对于特定的目标函数来说，它通常不是最优解。

2. 单变量函数的优化

2.1 寻找最小值的基本方法

有时候，我们需要确定单变量非线性函数的最大值或最小值。在本文的讨论中，我们假设是寻找函数的最小值。最直接的方法是对函数求导，并找到使导数为零的自变量值。然而，在某些情况下，直接求导并不实际。

2.2 区间缩减法

考虑一个函数 (y = f(x))，假设在区间 ([x_a, x_b]) 内有一个单一的最小值。我们任意选择两个额外的点 (x_1) 和 (x_2)，将区间