无约束优化

本章进入凸优化问题的求解、算法阶段。

无约束优化问题

本文讨论一下无约束问题：

$$\min f(x)$$

其中，$f$是二次可微凸函数。假定该问题可解，即存在最优解$x^\star$，用$p^\star$表示最优值为：$\inf _xf(x) = f(x^\star)$。

因为$f$可微，则最优点$x^\star$满足以下条件：

$$\triangledown f(x^\star)= 0$$

在特殊情况下，我们可以通过解析法求解最优性方程，但大多数情况下没有办法求得解析解。因此，最常见的方法是使用迭代法。

我们需要计算点列：$x^{(0)},x^{(1)},..$，使得$k\rightarrow \infty ,f(x^{(k)}) \rightarrow p^\star$。使用$\epsilon$表示容许误差值，当$f(x^{(k)}) - p^\star \le \epsilon$时，算法终止。

例子$_{p_{438}}$

二次优化

$$\min (1/2)x^TPx + q^Tx +r$$

很容易我们可以对其求导得到$Px^\star +q= 0$。

因此，若$P$为正定矩阵，则存在唯一解$x^\star = -P^{-1}q$。

若此方程无解，则优化问题无下界。

最小二乘

作为二次优化的特例：

$$\min ||Ax - b||^2_2= x^T(A^TA)x - 2(A^Tb)^Tx + b^Tb$$

其最优性解为其正规方程：

$$A^TAx^\star = A^Tb$$

强凸性

强凸是指：

$$\triangledown^2 f(x) \succeq mI$$

对任意$x\in S$都成立。这里的$\triangledown^2 f(x)$表示Hessian矩阵。

我们可以通过强凸性推导出有意义的方程。

次优性条件

$$\begin{align}f(y) &= f(x) + \triangledown f(x)^T(y-x)+\frac{1}{2}(y-x)^T \triangledown^2 f(z)(y-x) \\& \ge f(x)+ \triangledown f(x)^T(y-x)+\frac{m}{2}||y-x||_2^2 \end{align}$$

当$m =0$时，上式变为凸性的基本不等式（一阶可微），当$m\ge 0$时，对$f(y)$的下界得到了更好的估计结果。

对上式进行求导可得：

$$\triangledown f(x) + m(y-x) = 0$$

因此，带入原式可得：

f(y)≥f(x)+▽f(x)T(y−x)+m2