凸优化理论学习六|近似和拟合

系列文章目录

凸优化理论学习一|最优化及凸集的基本概念
凸优化理论学习二|凸函数及其相关概念
凸优化理论学习三|凸优化问题（一）
凸优化理论学习四|凸优化问题（二）
凸优化理论学习五|对偶性

---

一、近似问题

近似问题可以概括为：求出一个合理的向量$x$，使得向量$Ax$与向量$b$尽可能相等

问题的核心在于如何定义两个向量的相等程度，由此产生了各种各样的方法。比如，可以定义两个向量之间的角度，距离等。最常用的就是使用范数，范数是一个函数，自变量是一个向量，因变量是这个向量的距离值。

二、范数和惩罚近似

（一）范数近似

范数近似问题涉及找到一个向量，使其在给定范数下与目标向量之间的距离最小化。这在数学优化和数据分析中有广泛的应用。

• 欧几里得近似问题（$||.|{|}_2$）的解：$x^{\ast }=A†b$
• 切比雪夫或极小极大近似 问题($||.|{|}_{\infty }$)可以通过引入辅助变量并转化为线性规划问题来求解：
  • 目标函数：最小化$t$
  • 约束条件：$-t1\le Ax-b\le t1$

$l_{\infty }$范数表示响亮的最大分量绝对值：
$$mi{n}_x||Ax-b|{|}_{\infty }=mi{n}_{x}ma{x}_i|(Ax-b{)}_i|$$

• 绝对残差近似值之和问题 ($||.|{|}_1$)也可以通过引入辅助变量并转化为线性规划问题来求解：
  • 目标函数：最小化$1^{T}y$
  • 约束条件：$-y\le Ax-b\le y$

（二）惩罚函数近似

罚函数近似法对于一个$x$，得到$b$的一个逼近$Ax$，也得到了相应的残差向量$r$，罚函数通过$\varphi (r_i)$评价每个分量的费用或惩罚，总体惩罚就是每个残差的罚函数之和。罚函数近似可以解决向量b中存在较大测量噪声的问题。$x$的不同选择会导致不同的残差，因此有不同的总体惩罚，在罚函数问题中，极小化总体惩罚来解决问题。

罚函数逼近问题具有如下形式： （$\varphi :R\to R$是一个凸的惩罚函数）

• 目标函数：最小化$\varphi (r_1)+...+\varphi (r_m)$
• 约束条件：$r=Ax-b$

常见的罚函数：

• 各种范数。不同范数本质上也是一种罚函数，例如$\varphi (u)=|u|$对应$L1$范数逼近
• 带有死区的线性罚函数（死区宽度$a>0$）：对于小于a的残差不进行惩罚（即当残差向量的某个分量的残差值小于a时，对应的罚函数输出值为0，则最小化总体残差时对这个分量的考虑很小）
  ϕ ( u ) = m a x { 0 , ∣ u ∣ − a } \phi(u)=max\{0,|u|-a\} ϕ(u)=max{0,∣u∣−a}
• 对数障碍函数（极限为$a>0$）：对大于a的残差给予无穷的惩罚
  $$\varphi (u)=\{\begin{array}{ll}-a^{2}log(1-(u/a{)}^2),& \text{|u|<a}\\ \infty ,& \text{otherwise}\end{array}$$
  

（三）Huber罚函数

在估计或回归领域中，当测量的结果中某个分量存在较大的噪声误差时，按照上面的罚函数，结果残差向量中会产生含有较大分量的残差项。对于这种情况，我们应该首先确认哪些测量值是野值，然后在估计过程中移除，或者在估计时不要对这些项进行太多的优化。

Huber惩罚函数：当残差小于M时，与最小二乘相同；当大于M时，恢复为类似于L1的线性增长。

• 大 u 的线性增长使得近似对异常值不太敏感
• 称为鲁棒的罚函数
  $${\varphi }_{hub}(u)=\{\begin{array}{ll}{u}^2,& \text{|u|≤M}\\ M(2|u|-M),& \text{|u| > M}\end{array}$$
  

平面上有42个点，其中有两个明显的野值（一个左上，一个右下）

• 虚线为使用最小二乘法求出的直线，明显向两个野值进行了偏转，而野值明显是有明显测量误差的结果
• 实线是通过极小化Huber罚函数得到的，其中M＝1，明显测量出的结果受野值的影响小了很多。

（四）最小范数问题

基本的最小范数问题数学模型为：

• 目标函数：最小化$||x||$
• 约束条件：$Ax=b$
• $A\in R^{m\times n},m\le n,||.||$代表$R^n$上一种范数

可以将其重构为范数逼近问题：（$Ax=b$的通解可以写为：$x=x_0+Zu$）
$$min||x_0+Zu||,u\in R^k$$

最小范数问题可以变形为最小罚问题：

• 目标函数：最小化$\varphi (x_1)+...+\varphi (x_m)$
• 约束条件：$Ax=b$

在最小罚问题中，使用L1范数作为罚函数可以得到：

• 目标函数：最小化$||x|{|}_1$
• 约束条件：$Ax=b$

这种方法会使得得到的解趋向于有很多等于零的分量，即得到稀疏解，常常有m个非零分量

三、正则化近似

（一）正则化近似问题

范数逼近问题和惩罚函数逼近问题主要解决的是使残差$r=Ax-b$最小向量$x$的问题，而最小范数问题解决的是在满足$Ax=b$的向量中求最小的向量$x$的问题。

在正则化逼近的基本形式中，目标是寻找向量$x$使其较小，同时使得残差$Ax-b$小，可描述为双目标的（凸）向量优化问题，数学模型如下：
$$minimize(||Ax-b||,||x||)$$

（二）标量化问题

• 极小化目标函数的加权和：
  • $\gamma$是问题参数，当$\gamma$在$(0,\infty )$上变化，下面式子的解遍历了最佳权衡曲线
    $$min||Ax-b||+\gamma ||x||$$
• 极小化加权范数平方和：
  • 使用Euclid范数
    $$min||Ax-b|{|}^2+\delta ||x|{|}^2,\delta >0$$
• Tikhonov 正则化/岭回归：
  • 一种常用的基于 Ecuclid 范数的正则化方法，得到一个凸二次优化问题
    $$min||Ax-b|{|}_2^2+\delta ||x|{|}_2^2=x^T(A^{T}A+\delta I)x-2b^{T}Ax+b^{T}b,\delta >0$$
  • 该问题的解析解为：$x=(A^{T}A+\delta I{)}^{-1}{A}^{T}b$
  • 对于任意的$\delta >0$，都有$A^{T}A+\delta I>0$，所以解不需要对矩阵A的秩（或维数）做出假设

（三）最优输入设计问题

考虑一个具有脉冲响应 h 的线性动力系统（或卷积系统），其输入向量为$[u(0),u(1),...,u(N)]$，输出向量为$[y(0),y(1),...,y(N)]$，输入输出通过卷积相关联，序列$h(0),h(1),...,h(N)$称为卷积核或系统的脉冲响应。
$$y(t)=\sum _{\tau =0}^{t}h(\tau )u(t-\tau ),t=0,1,...,N$$

• 输入设计问题：具有 3 个目标的多准则问题
  $$J_{track}+\delta J_{der}+\eta J_{mag},\delta >0,\eta >0$$
  • 跟踪输出：输出$y$跟踪给定目标或参数信号$y_{des}$ 。用二次函数度量输出的跟踪误差：
    $$J_{track}=\sum _{t=0}^N(y(t)-y_{des}(t){)}^2$$
  • 输入变化：输入不应当快速地变化，用二次函数来度量输入的幅值
    $$J_{der}=\sum _{t=0}^N(u(t+1)-u(t){)}^2$$
  • 输入幅值：输入不应该很大，用二次函数度量输入的幅值：
    $$J_{mag}=\sum _{t=0}^N(u(t){)}^2$$

设定一组参数：N ＝ 200， 脉冲响应：$h(t)=\frac{1}{9}(0.9{)}^t(1-0.4cos(2t))$ ：

• 第一组（$\delta =0,\eta =0.005$）：对输入幅值进行了正则化，没有考虑其变化，此时跟踪良好，但输入较大，变化较快。
• 第二组（$\delta =0,\eta =0.05$）：对输入幅值进行了更大的正则化，仍没有考虑其变化，此时输入变小，变化较快，但付出了更多的跟踪误差。
• 第三组（$\delta =0.3,\eta =0.05$）：对输入变化量添加了正则化，输入的变化显著减小，但没有给输出带来太多的跟踪误差。
  

（四）信号重建问题

信号重建问题也是一个双目标问题：$x$是未知信号，$\hat{x}$是对于未知信号的估计，$x_{cov}=x+v$是$x$ 的损坏版本，包含了噪声$v$，$\varphi$是正则化函数或平滑目标。
$$minimize(||\hat{x}-x_{cor}|{|}_2,\varphi (\hat{x}))$$

• 二次平滑：
  • 二次平滑可消除信号中的噪声和急剧转变
  • ${\varphi }_{quad}(\hat{x})={\sum }_{i=1}^{n-1}({\hat{x}}_{i+1}-{\hat{x}}_i{)}^2$
• 总方差平滑：
  • 总变差平滑保留了信号的急剧转变
  • ${\varphi }_{tv}(\hat{x})={\sum }_{i=1}^{n-1}|{\hat{x}}_{i+1}-{\hat{x}}_i|$

四、鲁棒近似

鲁棒近似问题：最小化 $||Ax-b||$ 且 A 不确定

• 随机：假设 A 是随机的，最小化 $E||Ax-b||$
• 最坏情况：最小化$su{p}_{A\in A}||Ax-b||$

随机鲁棒最小二乘法：

最坏情况稳健最小二乘：