漫步最优化二——基本优化问题

$\textbf{我们还有很长的时间要走，千万不要把哥哥甩在身后；}$
$\textbf{我和你要去闻闻新鲜的春天；}$
$\textbf{感受阳光洒满肩上的夏天；}$
$\textbf{整个世界涂着金色的秋天；}$
$\textbf{体验白雪飘满天空的冬天；}$
$\textbf{你在我身边，就胜过五彩缤纷的花花世界。}$
$\qquad\qquad\qquad\qquad\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}$

在进行优化之前，手头的问题首先得有合适的形式，性能标准$F$必须写成$n$个参数$x_1,x_2,\ldots,x_n$的形式

$$F=f(x_1,x_2,\ldots,x_n)$$

$F$是个标量，它可以是产品的成本或者系统期望性能与实际性能之差，变量$x_1,x_2,\ldots,x_n$是影响产品的成本或者实际性能的参数，他们可能是独立变量(像时间)或者可调节的控制参数。

大部分优化问题是通过某种方式调节变量$x_1,x_2,\ldots,x_n$来最小化$F$，从数学角度来描述就是

$$\begin{equation} \min F=f(x_1,x_2,\ldots,x_n) \end{equation}$$

$F$通常称为目标函数或代价函数。

目标函数可能依赖大量的变量，可能是100个或更多。为了简化，我们会经常使用矩阵符号，如果$\textbf{x}$表示元素为$x_1,x_2,\ldots,x_n$的列向量，转置$\textbf{x}^T$表示行向量

$$\textbf{x}^T=[x_1\ x_2\ \cdots\ x_n]$$

使用这种符号，等式$(1)$可以写成

$$\min F=f(\textbf{x})\ for\ \textbf{x}\in E^n$$

其中$E^n$表示$n$维欧几里德空间。

许多情况中，优化问题是寻找目标函数的最大值，因为

$$\max [f(\textbf{x})]=-\min [-f(\textbf{x})]$$

$F$的最大值通过求出$-F$的最小值，然后再改变符号得到，因此不失一般性，我们以后专注于最小化。

在许多应用中，许多个不同的$\textbf{x}$函数需要同时进行优化，例如如果要求解非线性方程

$$f_i(\textbf{x})=0\ for\ i=1,2,\ldots,m$$

，那么$\textbf{x}$就应该令所有的$f_i(\textbf{x})$同时为零。对这样的问题，优化函数可以表示成向量

$$F(\textbf{x})=[f_1(\textbf{x})\ f_2(\textbf{x})\ \cdots\ f_m(\textbf{x})]^T$$

通过求出使$F(\textbf{x}^*)=\textbf{0}$的点$\textbf{x=x}^*$就可解出答案。然而许多情况下这样的$\textbf{x}^*$不存在，但是可以取近似解例如$F(\textbf{x}^*)\approx\textbf{0}$。

当要优化的$\textbf{x}$函数也是一个连续独立参数的函数时，同样会产生相似的问题，这时候我们感兴趣的函数可以对独立参数进行采样得到，可以构建向量形式为

$$F(\textbf{x})=[f(\textbf{x},t_1)\ f(\textbf{x},t_2)\ \cdots\ f(\textbf{x},t_m)]^T$$

其中$t$是独立参数，接下里如果我们令

$$f_i(\textbf{x})\equiv f(\textbf{x},t_i)$$

那么我们可以写成

$$F(\textbf{x})=[f_1(\textbf{x})\ f_2(\textbf{x})\ \cdots f_m(\textbf{x})]^T$$

这种问题的解通过同时优化函数$f_i(\textbf{x}),i=1,2,\ldots,m$即可得到，这样的解自然是近似解，因为样本点之间的$f(\textbf{x,t})$没有考虑。但不管怎样，通过采集大量的样本点，在实际中可以得到合理的解，下面举例说明。

$\textbf{例1：}$$n$阶控制系统的阶梯响应$y(\textbf{x,t})$需要尽可能满足下面指定的形式

$$y_0(\textbf{x},t)= \begin{cases} t\qquad for\ 0\leq t<2\\ 2\qquad for\ 2\leq t<3\\ -t+5\qquad for\ 3\leq t<4\\ 1\qquad for\ 4\leq t \end{cases}$$

构建向量$F(\textbf{x})$使得求得的函数$f(\textbf{x},t)$满足

$$y(\textbf{x,t})\approx y_0(\textbf{x},t)\ for\ 0\leq\leq5$$

$\textbf{解：}$实际与指定相应之差(构成了近似误差)可以表示成

$$f(\textbf{x,t}=y(\textbf{x,t}))-y_0(\textbf{x,t})$$

并且如果$f(\textbf{x,t})$在$t=0,1,2,\ldots,5$上采样，那么我们就得到

$$F(\textbf{x})=[f_1(\textbf{x})\ f_2(\textbf{x})\ \cdots\ f_6(\textbf{x})]^T$$

其中

$$\begin{align*} &f_1(\textbf{x})=f(\textbf{x},0)=y(\textbf{x},0)\\ &f_2(\textbf{x})=f(\textbf{x},1)=y(\textbf{x},1)-1\\ &f_3(\textbf{x})=f(\textbf{x},2)=y(\textbf{x},2)-2\\ &f_4(\textbf{x})=f(\textbf{x},3)=y(\textbf{x},3)-2\\ &f_5(\textbf{x})=f(\textbf{x},4)=y(\textbf{x},4)-1\\ &f_6(\textbf{x})=f(\textbf{x},5)=y(\textbf{x},5)-1 \end{align*}$$

这个问题如图1所示，我们可以求出使得$F(\textbf{x}^*)\approx0$的点$\textbf{x=x}^*$，显然，得到的近似值依赖于采样的密度，点的密度越高，近似值越好。

图1

上面描述的问题通过定义合适的目标函数就能求解，目标函数必须是标量且其最优解必须对$F(\textbf{x})$中的所有元素同时优化，所以就必须用到某些范数，$L_p$范数定义如下：

$$F\equiv L_p=\left\{\sum_{i=1}^m|f_i(\textbf{x})|^p\right\}^{1/p}$$

其中$p$是整数。

$L_p$范数中的某些特殊情况我们很感兴趣，如果$p=1$，那么

$$F\equiv L_1=\sum_{i=1}^m|f_i(\textbf{x})|$$

对于例1的问题而言，就是对每个元素幅值的和最小化，这称为$L_1$问题。

如果$p=2$，就是对欧几里得范数

$$F\equiv L_2=\left\{\sum_{i=1}^m|f_i(\textbf{x})|^2\right\}^{1/2}$$

进行最小化，如果忽略平方根，就是对平方和最小化，这样的问题通常称为最小二乘问题。

对于$p=\infty$，如果我们假设$|f_i(\textbf{x})|$的唯一最大值$\hat{F}$满足

$$\hat{F}=\max_{1\leq i\leq m}|f_i(\textbf{x})|$$

那么我们可以写出

$$\begin{align*} F\equiv L_{\infty} &=\lim_{p\to\infty}\left\{\sum_{i=1}^m|f_i(\textbf{x})|^p\right\}^{1/p}\\ &=\hat{F}\lim_{p\to\infty}\left\{\sum_{i=1}^m\left[\frac{|f_i(\textbf{x})|}{\hat{F}}\right]^p\right\}^{1/p} \end{align*}$$

因为求和符号中的所有项只有一项为1，其余都小于1，所以当指数很大时他们区域0，因此我们得到

$$F=\hat{F}=\max_{i\leq i\leq m}|f_i(\textbf{x})|$$

显然，如果例1使用$L_{\infty}$范数，就是最小化最大近似误差，该问题称为极小极大问题。

$F(\textbf{x})$的每个元素经常会乘以常数权值$w_1,w_2,\ldots,w_n$，例如最小二乘目标函数表示为

$$F=\sum_{i=1}^m[w_if_i(\textbf{x})]^2$$

这样强调了重要的函数，弱化了不重要的函数。如果最小化$F$，那么最终$w_if_i(\textbf{x})$中的残差会有同样的大小，即

$$|w_if_i(\textbf{x})|\approx \varepsilon$$

也就是

$$|f_i(\textbf{x})|\approx\frac{\varepsilon}{|w_i|}$$

所以，如果$f_i(\textbf{x})$使用很大的权值$w_i$，也就意味着$f_i(\textbf{x})$最终会有很小的残差。