23、优化方法与泰勒级数详解

优化方法与泰勒级数详解

优化问题引入

在优化问题中，有时会遇到约束条件下的优化情况。例如，当遇到某个参数 $v_2$ 的值过大时，可通过增加惩罚乘数来调整。如将惩罚乘数增加到 10000，并使用上一次运行的输出 $x$ 作为输入再次运行程序，此时 $v_2$ 会更接近约束值。

下山单纯形法

下山单纯形法，也称为 Nelder - Mead 法，其核心思想是在设计空间中使用一个移动的单纯形来包围最优点，然后不断缩小单纯形，直到其尺寸达到指定的误差容限。
- 单纯形的定义 ：在 $n$ 维空间中，单纯形是由 $n + 1$ 个顶点通过直线连接并由多边形面围成的图形。当 $n = 2$ 时，单纯形是三角形；当 $n = 3$ 时，是四面体。
- 二维单纯形的允许移动 ：二维单纯形（$n = 2$）的允许移动包括反射、扩展、收缩和缩小。移动方向由顶点处的目标函数 $F(x)$ 值决定，目标函数值最高的顶点标记为 $Hi$，最低的标记为 $Lo$。移动幅度由从 $Hi$ 顶点到对面质心的距离 $d$ 控制。

下面是二维单纯形允许移动的示意图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px

    A(原始单纯形):::process --> B(反射):::process
    A --> C(扩展):::process
    A --> D(收缩):::proc