11、优化算法与线性规划详解

优化算法与线性规划详解

1. 优化问题基础

在优化问题中，当初始猜测足够准确，即 $|x_0 - x^*| \ll 1$ 时，收敛速度这一概念十分关键。下面通过几个具体的练习来深入理解相关内容。

• 练习 5.3 ：要寻找函数 $f(x) = x^3 - 2x^2 + x$ 在 $x = 2$ 附近的极值。首先，用二阶多项式 $\tilde{f}(x)$ 近似该函数。然后，通过 $\tilde{f}(x_0) = 0$ 定义 $f(x) = 0$ 的初始猜测 $x_0$。接着，可以确认 $f(x)$ 在 $x = \bar{x}$ 处的近似为：
  $f(x) = f(\bar{x}) + (3\bar{x}^2 - 4\bar{x} + 1)(x - \bar{x}) + \frac{1}{2}(6\bar{x} - 4)(x - \bar{x})^2$
  并且 $f’(x) = 0$ 等价于：
  $x - \bar{x} = -\frac{3\bar{x}^2 - 4\bar{x} + 1}{6\bar{x} - 4}$
  最终得到迭代方案：
  $x_{k + 1} = x_k - \frac{3x_k^2 - 4x_k + 1}{6x_k - 4}$
  这实现了求解 $f(x) = 0$ 的牛顿法。
• 练习 5.4 ：需要确认定理 5.1 中 $x^*$ 的唯一性。
• 练习 5.5 ：要确认公式 (5.15)。
• 练习 5.6