逼近与拟合

这一章开始，进入凸优化的应用。

拟合、逼近、插值

• 拟合
  
  • 一般是对于离散点
  • 用函数代替列表函数使得误差在某种意义下最小
• 插值
  
  • 一般是对于离散点
  • 用一个函数来近似代替列表函数，并要求函数通过列表函数中给定的数据点
• 逼近
  
  • 一般是对于连续函数
  • 为复杂函数寻找近似替代函数，其误差在某种度量下最小

范数逼近

基本问题$_{p_{286}}$

最简单的范数逼近问题具有以下形式的无约束问题：

$$\min ||Ax -b ||$$

向量$r = Ax-b$称为这个问题的残差，其分量称为个体残差。

很明显，范数逼近问题是一个凸问题，也就是说，至少存在一个最优解。

由线性代数的知识，当$b \in C(A)$时，最优值为0，但我们更关心其不为$A$的列空间的情况。

解释

$Ax = x_1a_1 + ... + x_n a_n$

可以看出，范数逼近问题目标是用$A$的列空间的线性组合尽可能的逼近$b$向量，其偏差由范数度量。

在几何上有更好的解释，其中，$x$可认为是向量$b$在$A$的子空间中的投影点，也就是最靠近$b$的点。

最小二乘逼近

最常见的范数逼近是$l_2$范数。其问题描述为：

$$\min ||Ax - b||^2_2 = r_1^2 + ...+r^2_m$$

其目标函数为残差平方和。我们可以将目标函数转化为凸二次函数：

$$f(x) = x^TA^TAx - 2b^TAx + b^Tb$$

可以解析的求解得到：

$$A^TAx = A^Tb$$

这个方程为正规方程，并且总是有解的。

Chebyshev逼近

当使用$l _{\infty}$范数时，逼近问题转化为：

$$\min ||Ax -b||_{\infty} = \min \max \{|r_1|,...,|r_m|\}$$

表示为极小化最大残差。可以将其描述为线性规划问题：

$$\min \quad t$$